{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 设置模型存放在cpu/gpu"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "基础使用"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "id:2235286002224 is_cuda: False\n",
      "\n",
      "id:2235286002224 is_cuda: True\n",
      "\n",
      "id:2235286002224 is_cuda: False\n"
     ]
    }
   ],
   "source": [
    "import torch\n",
    "import torch.nn as nn\n",
    "\n",
    "net = nn.Sequential(nn.Linear(3, 3))\n",
    "\n",
    "print(\"\\nid:{} is_cuda: {}\".format(id(net), next(net.parameters()).is_cuda))\n",
    "\n",
    "net.cuda()\n",
    "print(\"\\nid:{} is_cuda: {}\".format(id(net), next(net.parameters()).is_cuda))\n",
    "\n",
    "net.cpu()\n",
    "print(\"\\nid:{} is_cuda: {}\".format(id(net), next(net.parameters()).is_cuda))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "to 方法的妙用：根据当前平台是否支持cuda加速，自动选择"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\n",
      "id:1329468901248 is_cuda: False\n",
      "\n",
      "id:1329468901248 is_cuda: True\n"
     ]
    }
   ],
   "source": [
    "device = torch.device(\"cuda\" if torch.cuda.is_available() else \"cpu\")\n",
    "\n",
    "import torch\n",
    "import torch.nn as nn\n",
    "\n",
    "net = nn.Sequential(nn.Linear(3, 3))\n",
    "print(\"\\nid:{} is_cuda: {}\".format(id(net), next(net.parameters()).is_cuda))\n",
    "\n",
    "net.to(device)\n",
    "print(\"\\nid:{} is_cuda: {}\".format(id(net), next(net.parameters()).is_cuda))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 获取模型参数、加载权重参数"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true
   },
   "source": [
    "### state_dict"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "hidden": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "convolution_layer.weight\n",
      "tensor([[[[-0.0586,  0.2958,  0.0794],\n",
      "          [-0.0975, -0.1863, -0.2886],\n",
      "          [ 0.0428, -0.0775, -0.0212]]]])\n",
      "\n",
      "convolution_layer.bias\n",
      "tensor([-0.0820])\n",
      "\n",
      "fc.weight\n",
      "tensor([[ 0.1165,  0.0235, -0.0438,  0.1110,  0.1489, -0.0167, -0.0951,  0.0331,\n",
      "          0.1470, -0.0072,  0.0420, -0.0689,  0.0828,  0.0833,  0.1161,  0.0625,\n",
      "          0.1383,  0.0415, -0.0853, -0.0155, -0.0974,  0.1354, -0.0970,  0.1201,\n",
      "          0.0051,  0.1168, -0.0631, -0.0012, -0.1244,  0.0307,  0.1647,  0.1610,\n",
      "         -0.0011, -0.0883,  0.0176, -0.1347],\n",
      "        [ 0.1008, -0.0250,  0.0644,  0.0470,  0.1096, -0.0654,  0.0835,  0.1284,\n",
      "         -0.0624,  0.0111, -0.0449, -0.1071,  0.1286, -0.1086, -0.0395,  0.1416,\n",
      "          0.1321, -0.1113, -0.0998, -0.0708, -0.0049,  0.0485, -0.1228,  0.0476,\n",
      "          0.1246,  0.1118, -0.1652, -0.0927, -0.1385,  0.1040, -0.1084, -0.0119,\n",
      "         -0.0311, -0.0928, -0.0599,  0.1003]])\n",
      "\n",
      "fc.bias\n",
      "tensor([0.0320, 0.1332])\n",
      "\n"
     ]
    }
   ],
   "source": [
    "class TinnyCNN(nn.Module):\n",
    "    def __init__(self, cls_num=2):\n",
    "        super(TinnyCNN, self).__init__()\n",
    "        self.convolution_layer = nn.Conv2d(1, 1, kernel_size=(3, 3))\n",
    "        self.fc = nn.Linear(36, cls_num)\n",
    "\n",
    "    def forward(self, x):\n",
    "        x = self.convolution_layer(x)\n",
    "        x = x.view(x.size(0), -1)\n",
    "        out = self.fc(x)\n",
    "        return out\n",
    "\n",
    "model = TinnyCNN(2)\n",
    "\n",
    "state_dict = model.state_dict()\n",
    "for key, parameter_value in state_dict.items():\n",
    "    print(key)\n",
    "    print(parameter_value, end=\"\\n\\n\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "hidden": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "conv1.weight\n",
      "tensor([[[[-5.6967e-02, -2.8291e-05, -2.1978e-02,  ..., -9.8702e-03,\n",
      "           -1.1116e-02,  4.1635e-02],\n",
      "          [-3.3665e-02,  7.7276e-03, -2.7842e-02,  ...,  4.2969e-03,\n",
      "           -2.6130e-02,  9.6772e-03],\n",
      "          [-2.4401e-02,  5.5175e-03, -8.9807e-03,  ...,  1.4303e-02,\n",
      "           -7.0192e-02, -2.5800e-02],\n",
      "          ...,\n",
      "          [-4.8629e-03, -4.8208e-02,  4.3374e-02,  ..., -1.1308e-02,\n",
      "            3.0745e-02, -4.5938e-02],\n",
      "          [-6.3373e-02, -1.5671e-03,  5.0147e-03,  ...,  5.8759e-03,\n",
      "           -2.5620e-02,  5.4922e-03],\n",
      "          [-1.5900e-02,  1.3739e-02,  4.0720e-02,  ..., -3.9768e-03,\n",
      "            2.8076e-02, -2.4102e-02]],\n",
      "\n",
      "         [[-9.9695e-03, -3.4427e-02, -1.8891e-02,  ..., -3.5531e-02,\n",
      "           -3.3229e-02,  3.7305e-02],\n",
      "          [ 6.4337e-04, -1.4819e-02,  2.6763e-02,  ..., -1.5438e-02,\n",
      "            6.9425e-02,  5.3044e-03],\n",
      "          [ 1.7078e-02, -5.2597e-02, -4.0298e-02,  ...,  8.4107e-03,\n",
      "            3.8125e-02,  2.3045e-02],\n",
      "          ...,\n",
      "          [ 1.7957e-02, -2.6191e-02, -2.7529e-02,  ..., -2.9027e-02,\n",
      "           -3.7657e-02, -1.1766e-02],\n",
      "          [-5.0272e-04,  5.3670e-03,  1.7007e-02,  ...,  3.8664e-03,\n",
      "           -1.7682e-02,  5.3667e-03],\n",
      "          [-6.2393e-03,  2.5175e-02, -5.3573e-02,  ...,  1.5945e-02,\n",
      "           -3.2380e-02, -1.3764e-02]],\n",
      "\n",
      "         [[-2.2826e-02, -1.2636e-02,  4.3210e-02,  ..., -2.6892e-02,\n",
      "           -1.5265e-02, -1.4050e-02],\n",
      "          [-6.5058e-02,  3.4017e-03, -2.2919e-02,  ...,  6.3049e-03,\n",
      "            3.0598e-02, -5.1434e-02],\n",
      "          [ 4.5461e-04, -2.0476e-02,  3.9283e-03,  ...,  6.8409e-02,\n",
      "           -2.4666e-02,  3.1763e-03],\n",
      "          ...,\n",
      "          [ 2.1707e-02, -2.0802e-02, -2.3929e-02,  ..., -2.9445e-02,\n",
      "           -1.2364e-03,  4.3938e-02],\n",
      "          [-2.3720e-02,  8.1293e-05,  1.5746e-02,  ..., -1.0906e-02,\n",
      "           -2.6069e-03,  2.7273e-02],\n",
      "          [ 3.1979e-03, -7.8398e-03, -3.4899e-02,  ...,  6.2622e-03,\n",
      "           -3.2815e-02,  9.1845e-03]]],\n",
      "\n",
      "\n",
      "        [[[ 2.1313e-02, -2.8436e-02, -2.1338e-02,  ...,  5.8418e-04,\n",
      "            9.1481e-03, -2.1136e-02],\n",
      "          [ 8.5404e-03, -4.8372e-02, -1.0219e-02,  ..., -1.9812e-04,\n",
      "           -3.4098e-03, -3.5271e-02],\n",
      "          [-1.0228e-02,  1.8508e-02,  1.4716e-02,  ..., -7.5153e-03,\n",
      "           -4.1917e-02, -1.1465e-03],\n",
      "          ...,\n",
      "          [ 7.1446e-03, -4.8456e-02,  5.1753e-03,  ..., -8.5655e-03,\n",
      "            4.1473e-03,  2.0806e-02],\n",
      "          [-3.4225e-02,  6.0551e-03, -8.2050e-03,  ...,  4.0156e-03,\n",
      "           -4.2585e-03,  4.4176e-02],\n",
      "          [ 6.4487e-04,  3.0667e-02,  1.3942e-02,  ..., -6.3764e-03,\n",
      "           -4.4021e-05, -4.3271e-03]],\n",
      "\n",
      "         [[-2.3012e-02,  1.3480e-03,  3.3681e-03,  ...,  8.9066e-04,\n",
      "            7.8492e-03, -4.4130e-02],\n",
      "          [ 5.1229e-02, -3.9780e-02, -3.2298e-02,  ..., -1.6902e-03,\n",
      "           -3.9665e-03,  9.2969e-03],\n",
      "          [-1.0116e-02,  1.1507e-02, -1.2967e-02,  ..., -1.0846e-02,\n",
      "           -3.9028e-02, -2.7399e-02],\n",
      "          ...,\n",
      "          [-2.7059e-02, -2.2593e-02, -4.2167e-02,  ..., -4.7483e-02,\n",
      "            2.8532e-02, -6.0757e-03],\n",
      "          [-4.8523e-02, -1.1400e-02,  3.1154e-02,  ...,  4.3996e-02,\n",
      "            1.6093e-02,  6.4195e-03],\n",
      "          [-3.6892e-03,  3.7579e-02, -9.3718e-04,  ..., -2.8210e-02,\n",
      "           -1.8180e-03,  4.8451e-03]],\n",
      "\n",
      "         [[-2.8264e-02, -2.1396e-02, -1.6761e-02,  ...,  1.1002e-02,\n",
      "           -6.7456e-03,  4.0622e-02],\n",
      "          [-4.3967e-02,  4.6798e-03,  3.0520e-02,  ...,  7.0247e-03,\n",
      "            2.5102e-02,  1.5117e-02],\n",
      "          [ 6.9640e-03, -1.7154e-02, -6.4800e-04,  ..., -1.5950e-02,\n",
      "           -1.5986e-02, -5.8038e-02],\n",
      "          ...,\n",
      "          [ 1.9616e-02, -3.5670e-03,  1.5075e-02,  ..., -3.1884e-02,\n",
      "            2.5716e-03,  4.8710e-02],\n",
      "          [ 1.7614e-03,  1.9609e-02,  1.2262e-02,  ...,  3.5089e-02,\n",
      "            5.5616e-02, -8.7170e-03],\n",
      "          [ 4.9344e-02,  2.1788e-02, -1.0882e-02,  ...,  1.9271e-02,\n",
      "           -1.3373e-02,  2.8429e-02]]],\n",
      "\n",
      "\n",
      "        [[[ 4.1376e-02,  1.9471e-02,  9.7810e-03,  ..., -4.6726e-03,\n",
      "           -4.1826e-03,  4.3361e-02],\n",
      "          [ 1.8241e-02,  2.4851e-02,  3.8856e-02,  ..., -2.4218e-03,\n",
      "            1.7438e-02,  1.0322e-02],\n",
      "          [-2.1441e-02,  1.1265e-02, -3.0169e-02,  ..., -2.0874e-02,\n",
      "           -3.3049e-02, -1.4123e-02],\n",
      "          ...,\n",
      "          [ 4.4259e-02,  3.2832e-02,  4.8211e-02,  ...,  4.0664e-02,\n",
      "           -8.2289e-04, -1.0816e-02],\n",
      "          [-2.6755e-02,  1.7421e-02,  5.0481e-04,  ...,  1.4239e-02,\n",
      "           -6.8685e-03,  1.2062e-03],\n",
      "          [ 9.3669e-03, -3.7752e-02, -4.3115e-02,  ..., -7.5158e-03,\n",
      "           -5.0434e-02,  1.3128e-02]],\n",
      "\n",
      "         [[-1.8654e-02, -6.9601e-03,  1.5346e-02,  ..., -7.4422e-03,\n",
      "            3.0350e-02, -1.3430e-02],\n",
      "          [-1.8008e-02, -1.4626e-02, -5.4250e-04,  ...,  2.6424e-02,\n",
      "           -7.3190e-03,  2.8618e-02],\n",
      "          [-4.5235e-02,  3.2980e-04,  1.1464e-02,  ...,  1.7015e-02,\n",
      "            3.8092e-02,  2.3668e-02],\n",
      "          ...,\n",
      "          [ 1.1957e-02, -4.5632e-03,  1.6092e-02,  ..., -3.1314e-02,\n",
      "            6.8999e-03,  1.7514e-02],\n",
      "          [ 7.7123e-03, -1.8753e-03,  1.0884e-02,  ..., -7.7828e-02,\n",
      "           -3.2281e-02, -3.6994e-04],\n",
      "          [ 1.9224e-02,  5.3989e-02,  5.9984e-03,  ...,  2.6096e-02,\n",
      "           -2.3241e-02, -1.0672e-02]],\n",
      "\n",
      "         [[-2.0578e-02, -1.4533e-02,  3.2132e-02,  ..., -7.9222e-02,\n",
      "           -2.7254e-02,  1.6603e-02],\n",
      "          [-2.0462e-03,  3.7693e-02, -1.4595e-02,  ..., -4.9845e-03,\n",
      "            1.9659e-02, -1.5432e-03],\n",
      "          [-3.4155e-02,  2.2653e-02, -5.9023e-03,  ...,  8.0981e-03,\n",
      "           -1.1860e-02, -2.2982e-02],\n",
      "          ...,\n",
      "          [ 1.7361e-02, -4.3597e-03, -5.1635e-03,  ..., -2.2043e-03,\n",
      "           -1.1846e-02,  5.9884e-03],\n",
      "          [-4.1256e-02, -4.9758e-02,  4.5524e-02,  ...,  1.5894e-02,\n",
      "           -7.3813e-03,  1.1903e-02],\n",
      "          [-3.9529e-02,  3.9629e-03, -2.5647e-02,  ...,  4.0817e-02,\n",
      "            3.3190e-02,  3.2080e-02]]],\n",
      "\n",
      "\n",
      "        ...,\n",
      "\n",
      "\n",
      "        [[[ 5.6648e-02, -2.2312e-02, -2.9384e-02,  ...,  2.1485e-03,\n",
      "            2.0666e-02, -1.3903e-02],\n",
      "          [ 3.7371e-04,  4.1563e-03, -1.2853e-02,  ...,  9.2393e-03,\n",
      "           -1.9459e-03, -1.8219e-02],\n",
      "          [-1.6810e-02,  1.7685e-02, -1.2721e-02,  ..., -2.2319e-02,\n",
      "            1.2763e-02,  4.6562e-02],\n",
      "          ...,\n",
      "          [-1.5003e-02,  4.0942e-02,  2.5404e-02,  ...,  5.8905e-03,\n",
      "           -3.5903e-02,  2.9441e-02],\n",
      "          [ 1.3527e-03,  2.4147e-02,  1.2446e-02,  ...,  2.3914e-03,\n",
      "           -2.1737e-02,  2.2038e-02],\n",
      "          [ 1.9149e-03, -2.8294e-02,  1.2682e-02,  ...,  1.9266e-02,\n",
      "            7.5719e-03, -5.5642e-03]],\n",
      "\n",
      "         [[-1.5118e-02,  4.8638e-02,  1.5673e-02,  ..., -3.6872e-02,\n",
      "            4.9092e-02,  4.6541e-02],\n",
      "          [ 1.9812e-02, -1.7752e-02,  9.5763e-03,  ...,  1.8568e-02,\n",
      "            2.5723e-02, -3.2482e-02],\n",
      "          [ 3.3726e-03, -2.6149e-02, -1.9475e-02,  ...,  1.9305e-03,\n",
      "           -1.6275e-02,  4.6071e-02],\n",
      "          ...,\n",
      "          [-4.5047e-03,  6.6543e-03, -7.5346e-03,  ..., -2.5744e-02,\n",
      "           -4.6476e-02,  3.7253e-03],\n",
      "          [ 2.3697e-02, -1.0373e-02,  1.9053e-02,  ..., -2.1129e-02,\n",
      "           -2.0982e-02, -6.2987e-02],\n",
      "          [ 5.3399e-02,  8.4679e-03,  5.1529e-03,  ..., -1.1508e-02,\n",
      "           -3.9683e-03, -1.0223e-02]],\n",
      "\n",
      "         [[-1.2147e-02,  4.1472e-02,  4.8763e-03,  ...,  1.1277e-02,\n",
      "            5.8642e-02,  5.3688e-03],\n",
      "          [-8.6898e-03,  1.9446e-02, -3.3833e-02,  ...,  1.8636e-04,\n",
      "           -1.2050e-02, -8.1416e-03],\n",
      "          [ 6.8161e-03, -3.4396e-02, -5.0676e-03,  ..., -5.1106e-02,\n",
      "           -2.8346e-02, -1.0067e-02],\n",
      "          ...,\n",
      "          [-3.1667e-02,  2.0281e-02, -2.2363e-02,  ...,  1.2909e-02,\n",
      "           -5.9451e-03,  7.2045e-03],\n",
      "          [ 1.9009e-02,  4.8056e-02, -8.9741e-03,  ..., -2.4590e-02,\n",
      "           -4.8110e-02, -1.0863e-02],\n",
      "          [ 6.9308e-03,  3.7345e-02, -1.2621e-02,  ..., -1.8677e-02,\n",
      "            3.0344e-03,  1.8259e-02]]],\n",
      "\n",
      "\n",
      "        [[[ 4.7668e-03,  1.5678e-02, -3.0958e-02,  ...,  4.1008e-02,\n",
      "            2.5150e-02,  9.3140e-03],\n",
      "          [ 4.1072e-02,  6.2733e-03,  3.8315e-02,  ..., -2.1022e-02,\n",
      "           -2.8443e-03, -1.2239e-02],\n",
      "          [-1.6078e-02, -4.5443e-02, -1.6573e-02,  ...,  2.6658e-02,\n",
      "            3.0143e-02,  1.3245e-02],\n",
      "          ...,\n",
      "          [ 4.1535e-02, -1.4736e-02, -1.3628e-02,  ..., -1.5080e-02,\n",
      "           -2.0217e-02, -2.7395e-02],\n",
      "          [ 2.1029e-03,  1.0437e-02, -1.0167e-02,  ...,  3.1994e-02,\n",
      "            8.6399e-03, -8.6139e-03],\n",
      "          [-3.0766e-04, -3.2336e-02,  1.9925e-02,  ...,  2.8520e-02,\n",
      "            6.1543e-02, -4.2087e-02]],\n",
      "\n",
      "         [[-3.5139e-04, -1.6201e-02, -1.0635e-02,  ...,  1.6238e-02,\n",
      "           -8.3597e-03,  2.4283e-02],\n",
      "          [-4.8279e-03,  1.8244e-02, -8.7957e-04,  ...,  2.9603e-02,\n",
      "            1.6401e-03,  3.1876e-03],\n",
      "          [ 1.7685e-02,  5.8371e-02,  2.4269e-02,  ..., -6.7678e-03,\n",
      "            1.3366e-03, -1.6355e-02],\n",
      "          ...,\n",
      "          [-1.7243e-02, -1.8568e-02, -2.6415e-02,  ..., -1.0809e-02,\n",
      "           -2.6680e-02,  1.8176e-02],\n",
      "          [-9.2510e-03, -2.7529e-02, -1.2132e-02,  ...,  1.2664e-03,\n",
      "           -1.3354e-02, -2.3330e-02],\n",
      "          [ 2.0054e-02,  1.1118e-02, -2.9786e-02,  ...,  2.3624e-02,\n",
      "            1.3269e-05, -3.1401e-02]],\n",
      "\n",
      "         [[-4.4444e-03, -3.6653e-02, -5.8182e-02,  ...,  4.7622e-02,\n",
      "           -1.1216e-02, -9.7289e-03],\n",
      "          [-8.0049e-03, -1.1168e-02, -2.7140e-02,  ..., -2.4479e-02,\n",
      "           -4.1801e-03,  3.2816e-03],\n",
      "          [ 3.1166e-02, -3.9428e-03, -2.0204e-02,  ..., -4.3017e-02,\n",
      "            7.6269e-03, -8.9618e-03],\n",
      "          ...,\n",
      "          [-2.2110e-02,  2.6253e-02, -2.6894e-02,  ..., -1.7835e-02,\n",
      "           -2.2932e-03, -1.8832e-02],\n",
      "          [ 2.8107e-02,  2.6432e-02,  5.9889e-02,  ..., -6.3061e-03,\n",
      "            2.4220e-02, -1.3360e-02],\n",
      "          [-1.0790e-02, -1.0029e-02, -5.9036e-03,  ...,  1.6254e-02,\n",
      "            1.5699e-03,  5.1250e-02]]],\n",
      "\n",
      "\n",
      "        [[[-1.1734e-02,  3.2081e-03,  1.7584e-02,  ...,  1.1468e-02,\n",
      "           -1.6026e-02,  3.3705e-02],\n",
      "          [ 1.9250e-02, -1.1874e-02,  4.9505e-03,  ..., -3.3945e-02,\n",
      "            7.5984e-03,  1.0841e-02],\n",
      "          [-3.3187e-02, -2.4942e-02,  1.2925e-02,  ...,  1.6639e-02,\n",
      "           -4.8667e-02, -2.7609e-02],\n",
      "          ...,\n",
      "          [-3.1065e-02, -1.1883e-02, -2.9470e-02,  ..., -5.7431e-02,\n",
      "           -2.9947e-02, -9.1728e-03],\n",
      "          [ 1.6973e-02, -6.3758e-03,  3.3100e-02,  ..., -7.2632e-03,\n",
      "           -3.9360e-02,  2.0956e-03],\n",
      "          [-2.7497e-03,  4.2598e-02,  2.0826e-02,  ..., -4.5230e-02,\n",
      "            2.4051e-02,  2.4721e-02]],\n",
      "\n",
      "         [[ 1.2394e-02,  5.1090e-02,  1.3137e-03,  ..., -5.8853e-03,\n",
      "           -5.0317e-02, -3.2452e-02],\n",
      "          [ 1.2183e-04,  3.8352e-03, -1.5476e-02,  ...,  3.9007e-02,\n",
      "            5.0986e-02, -1.4652e-02],\n",
      "          [ 1.0540e-02,  4.5624e-02, -3.3014e-02,  ..., -2.4117e-02,\n",
      "           -6.1701e-02,  3.3134e-02],\n",
      "          ...,\n",
      "          [ 2.9827e-02, -3.4952e-02, -2.8188e-02,  ..., -1.3241e-02,\n",
      "            3.9402e-03, -2.4395e-03],\n",
      "          [-7.9519e-03,  2.3537e-02, -3.1179e-03,  ..., -2.1777e-03,\n",
      "            1.0088e-02,  1.2383e-02],\n",
      "          [-3.1954e-02, -1.1833e-02,  2.1634e-02,  ...,  4.2792e-02,\n",
      "            9.8411e-03,  3.0836e-02]],\n",
      "\n",
      "         [[-4.9146e-03, -9.5558e-03,  2.3196e-03,  ...,  5.5905e-03,\n",
      "            2.2985e-02, -3.4131e-02],\n",
      "          [-4.1436e-03,  7.2677e-03,  4.8545e-02,  ..., -2.6052e-02,\n",
      "            2.9377e-03,  3.6381e-02],\n",
      "          [-1.5099e-02, -1.4895e-02,  6.7759e-03,  ...,  6.1304e-03,\n",
      "            1.5663e-02, -1.9775e-02],\n",
      "          ...,\n",
      "          [ 1.4191e-02, -3.1182e-02,  1.1635e-02,  ..., -2.8839e-02,\n",
      "            2.3983e-02, -5.3024e-02],\n",
      "          [-6.1305e-03,  3.7740e-02, -3.0215e-02,  ..., -2.3781e-02,\n",
      "           -2.8691e-02, -1.3709e-03],\n",
      "          [-3.0286e-02, -2.4576e-02,  2.8645e-02,  ...,  6.7148e-02,\n",
      "            4.2569e-02,  3.7402e-03]]]])\n",
      "\n",
      "bn1.weight\n",
      "tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1.])\n",
      "\n",
      "bn1.bias\n",
      "tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.])\n",
      "\n",
      "bn1.running_mean\n",
      "tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.])\n",
      "\n",
      "bn1.running_var\n",
      "tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1.])\n",
      "\n",
      "bn1.num_batches_tracked\n",
      "tensor(0)\n",
      "\n",
      "layer1.0.conv1.weight\n",
      "tensor([[[[ 0.0314, -0.0298, -0.0319],\n",
      "          [-0.0865,  0.0255, -0.0401],\n",
      "          [-0.0168,  0.1535,  0.0132]],\n",
      "\n",
      "         [[ 0.0970, -0.0353, -0.0226],\n",
      "          [-0.0320, -0.0314,  0.0573],\n",
      "          [-0.0966,  0.0278,  0.0561]],\n",
      "\n",
      "         [[ 0.0018, -0.0438,  0.0365],\n",
      "          [ 0.0232, -0.0881, -0.1049],\n",
      "          [ 0.0310, -0.0620,  0.0108]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 0.0074,  0.0737, -0.0520],\n",
      "          [ 0.0895,  0.0053,  0.0930],\n",
      "          [ 0.0084, -0.0151,  0.0141]],\n",
      "\n",
      "         [[-0.0345, -0.0460, -0.0693],\n",
      "          [ 0.0398,  0.0226, -0.0068],\n",
      "          [ 0.1237, -0.0017, -0.1036]],\n",
      "\n",
      "         [[ 0.0895, -0.0675,  0.1478],\n",
      "          [ 0.1642,  0.0123, -0.0446],\n",
      "          [-0.0409, -0.0091, -0.0110]]],\n",
      "\n",
      "\n",
      "        [[[-0.0418,  0.0146, -0.0599],\n",
      "          [-0.0741, -0.0225, -0.0326],\n",
      "          [ 0.0582,  0.0504,  0.0058]],\n",
      "\n",
      "         [[-0.0160,  0.0567, -0.1131],\n",
      "          [ 0.0005,  0.0433, -0.0047],\n",
      "          [-0.0943,  0.0707,  0.0764]],\n",
      "\n",
      "         [[ 0.0345,  0.0204, -0.0148],\n",
      "          [-0.0558,  0.2032, -0.0235],\n",
      "          [ 0.0834,  0.0780, -0.0322]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-0.1091, -0.0087,  0.0004],\n",
      "          [ 0.0589, -0.0351, -0.0387],\n",
      "          [ 0.0233,  0.0612, -0.0065]],\n",
      "\n",
      "         [[-0.0068,  0.0087,  0.0166],\n",
      "          [ 0.0276, -0.0453, -0.0111],\n",
      "          [-0.0452, -0.0291,  0.0073]],\n",
      "\n",
      "         [[-0.1021,  0.1030,  0.0158],\n",
      "          [-0.0111,  0.1332, -0.0219],\n",
      "          [ 0.0047,  0.0841,  0.0849]]],\n",
      "\n",
      "\n",
      "        [[[-0.0285,  0.0706, -0.0381],\n",
      "          [-0.0430, -0.0256,  0.0014],\n",
      "          [ 0.0779, -0.0988, -0.0179]],\n",
      "\n",
      "         [[ 0.0386,  0.0185,  0.0175],\n",
      "          [ 0.0842,  0.0281,  0.0439],\n",
      "          [ 0.0193, -0.0203,  0.0781]],\n",
      "\n",
      "         [[ 0.0008,  0.0243, -0.0673],\n",
      "          [-0.0223, -0.2088,  0.0393],\n",
      "          [ 0.0433,  0.0214, -0.0356]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-0.1165, -0.0262, -0.0772],\n",
      "          [-0.0122,  0.0639, -0.0605],\n",
      "          [ 0.0121,  0.0385, -0.0426]],\n",
      "\n",
      "         [[ 0.0482,  0.0326, -0.0473],\n",
      "          [ 0.0157, -0.0633,  0.0584],\n",
      "          [ 0.0304,  0.0944,  0.0653]],\n",
      "\n",
      "         [[ 0.0206, -0.1217, -0.0366],\n",
      "          [-0.0384,  0.0669, -0.0385],\n",
      "          [-0.1062, -0.0339,  0.1081]]],\n",
      "\n",
      "\n",
      "        ...,\n",
      "\n",
      "\n",
      "        [[[-0.1065, -0.0745, -0.0486],\n",
      "          [ 0.1036,  0.0257,  0.1069],\n",
      "          [-0.0507, -0.0110, -0.0433]],\n",
      "\n",
      "         [[ 0.0188, -0.0828, -0.0566],\n",
      "          [-0.0554,  0.0243,  0.1395],\n",
      "          [-0.0679, -0.0168, -0.0167]],\n",
      "\n",
      "         [[ 0.0357,  0.0400, -0.0114],\n",
      "          [-0.0142, -0.0045,  0.0446],\n",
      "          [-0.0881, -0.0049,  0.0641]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-0.0579, -0.0455,  0.0498],\n",
      "          [ 0.0312, -0.0117, -0.0678],\n",
      "          [ 0.0020, -0.0178, -0.0876]],\n",
      "\n",
      "         [[-0.1315,  0.1483, -0.0144],\n",
      "          [ 0.0137, -0.0541, -0.0257],\n",
      "          [ 0.0323,  0.0237,  0.0470]],\n",
      "\n",
      "         [[-0.0633, -0.0279,  0.0565],\n",
      "          [-0.0550, -0.0920,  0.0169],\n",
      "          [ 0.0563, -0.1261,  0.0220]]],\n",
      "\n",
      "\n",
      "        [[[-0.0956, -0.0313,  0.0259],\n",
      "          [ 0.0170,  0.0082,  0.0671],\n",
      "          [-0.0236,  0.0167, -0.0125]],\n",
      "\n",
      "         [[-0.0121,  0.0034, -0.1295],\n",
      "          [-0.0752,  0.0917, -0.0453],\n",
      "          [ 0.0479, -0.0686,  0.0487]],\n",
      "\n",
      "         [[-0.0172, -0.0448,  0.0870],\n",
      "          [-0.0457, -0.0016, -0.0309],\n",
      "          [-0.0358,  0.0490,  0.0613]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-0.0568, -0.0464, -0.0393],\n",
      "          [-0.1187,  0.0054,  0.0336],\n",
      "          [-0.0345,  0.0782,  0.0743]],\n",
      "\n",
      "         [[ 0.1031,  0.0956, -0.0505],\n",
      "          [ 0.0421,  0.0416, -0.0450],\n",
      "          [ 0.0333,  0.0184,  0.0489]],\n",
      "\n",
      "         [[ 0.0926, -0.0225,  0.0250],\n",
      "          [-0.0252,  0.0172, -0.0143],\n",
      "          [ 0.0403, -0.0016,  0.0465]]],\n",
      "\n",
      "\n",
      "        [[[ 0.0350,  0.0436,  0.0653],\n",
      "          [ 0.0368,  0.0301, -0.0243],\n",
      "          [ 0.0632, -0.1391,  0.0183]],\n",
      "\n",
      "         [[ 0.0567, -0.0499, -0.0806],\n",
      "          [-0.0010,  0.0835, -0.0259],\n",
      "          [-0.0390, -0.0089,  0.0009]],\n",
      "\n",
      "         [[-0.0653,  0.0108, -0.1669],\n",
      "          [ 0.0904, -0.0187, -0.1074],\n",
      "          [-0.0188,  0.0333, -0.0642]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 0.1101,  0.0716, -0.0029],\n",
      "          [ 0.0525,  0.0045,  0.0236],\n",
      "          [-0.0480,  0.0427, -0.1781]],\n",
      "\n",
      "         [[ 0.0351, -0.0198, -0.1446],\n",
      "          [-0.0267, -0.0037, -0.1047],\n",
      "          [-0.0714, -0.0435, -0.0227]],\n",
      "\n",
      "         [[-0.0342,  0.0211, -0.0018],\n",
      "          [ 0.0118, -0.0545, -0.0491],\n",
      "          [ 0.0070,  0.0255, -0.0119]]]])\n",
      "\n",
      "layer1.0.bn1.weight\n",
      "tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1.])\n",
      "\n",
      "layer1.0.bn1.bias\n",
      "tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.])\n",
      "\n",
      "layer1.0.bn1.running_mean\n",
      "tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.])\n",
      "\n",
      "layer1.0.bn1.running_var\n",
      "tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1.])\n",
      "\n",
      "layer1.0.bn1.num_batches_tracked\n",
      "tensor(0)\n",
      "\n",
      "layer1.0.conv2.weight\n",
      "tensor([[[[ 8.4651e-02,  1.4113e-02, -6.1327e-02],\n",
      "          [ 2.9367e-03,  1.7209e-02, -6.5052e-02],\n",
      "          [ 2.2939e-02, -1.4909e-02, -4.3586e-02]],\n",
      "\n",
      "         [[-7.9813e-02, -9.6795e-02, -7.3165e-02],\n",
      "          [-1.2652e-02,  1.4424e-02, -1.1700e-01],\n",
      "          [ 9.7161e-02, -1.1509e-01,  4.0457e-02]],\n",
      "\n",
      "         [[ 2.6571e-02,  4.2075e-02,  6.3960e-03],\n",
      "          [-1.1714e-02,  9.0828e-02, -8.9455e-02],\n",
      "          [ 7.6901e-02,  7.6740e-02,  2.8881e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-6.1395e-03,  3.7596e-02, -4.7386e-03],\n",
      "          [-6.4108e-02,  5.7234e-02, -1.4512e-02],\n",
      "          [-1.2272e-01, -1.8561e-02,  1.2112e-01]],\n",
      "\n",
      "         [[-6.1591e-02, -4.3744e-02, -4.1813e-02],\n",
      "          [-9.1626e-02, -7.6849e-02, -6.1576e-02],\n",
      "          [ 9.9031e-02,  2.7089e-02, -1.5422e-02]],\n",
      "\n",
      "         [[ 2.3328e-02, -1.3485e-02,  6.2691e-02],\n",
      "          [ 8.7387e-02,  5.8391e-03,  9.0949e-02],\n",
      "          [-7.6967e-02, -6.4722e-02, -5.4843e-02]]],\n",
      "\n",
      "\n",
      "        [[[ 6.1383e-02, -1.7093e-02, -5.8115e-02],\n",
      "          [-2.1294e-02,  1.0780e-01, -6.0865e-02],\n",
      "          [ 8.8598e-03,  3.5926e-02,  7.8631e-02]],\n",
      "\n",
      "         [[-7.8248e-02,  1.5217e-02, -4.6731e-02],\n",
      "          [ 6.0785e-02,  6.6787e-02,  1.2734e-02],\n",
      "          [-9.7078e-03,  1.0076e-01, -6.4985e-02]],\n",
      "\n",
      "         [[ 9.1569e-02,  1.6959e-01, -9.2431e-03],\n",
      "          [-2.0897e-03, -3.8206e-02,  2.9974e-02],\n",
      "          [-6.8790e-03,  1.6658e-02, -1.5168e-03]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-5.1472e-02, -7.0487e-02,  2.1811e-02],\n",
      "          [ 7.4611e-02,  1.3782e-02, -7.0537e-02],\n",
      "          [-3.3782e-02,  3.3909e-02, -9.1749e-02]],\n",
      "\n",
      "         [[ 4.1659e-02, -1.7457e-02,  1.1758e-01],\n",
      "          [ 2.7897e-02, -7.2979e-02, -3.4108e-02],\n",
      "          [ 8.6587e-06,  3.7316e-02, -3.2368e-02]],\n",
      "\n",
      "         [[ 8.9917e-02, -6.4962e-02,  2.8691e-02],\n",
      "          [ 2.5747e-02, -6.5870e-03,  1.4569e-02],\n",
      "          [ 5.3607e-02,  3.3283e-02,  2.7822e-02]]],\n",
      "\n",
      "\n",
      "        [[[-9.9862e-03, -5.1599e-02, -5.8386e-02],\n",
      "          [-2.0051e-02,  9.3810e-02, -4.9139e-02],\n",
      "          [-3.2219e-02, -2.9165e-02,  3.3109e-02]],\n",
      "\n",
      "         [[-6.8313e-03,  3.0053e-03,  1.0951e-01],\n",
      "          [ 4.0083e-02, -2.5833e-02, -1.3896e-01],\n",
      "          [-4.7028e-02, -1.4073e-02,  7.8686e-03]],\n",
      "\n",
      "         [[-1.5557e-02,  6.3013e-03,  1.1270e-01],\n",
      "          [ 8.3574e-02,  5.5743e-02, -8.1028e-02],\n",
      "          [-6.2487e-02,  1.0974e-01, -5.3377e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-4.6303e-02,  5.8920e-02, -1.9893e-02],\n",
      "          [-2.2528e-04,  4.9812e-02,  7.8086e-02],\n",
      "          [-4.8379e-03, -1.0197e-01,  1.5956e-01]],\n",
      "\n",
      "         [[-8.4442e-02, -7.9082e-02, -2.2776e-02],\n",
      "          [ 7.4209e-02,  3.0940e-02, -4.8260e-02],\n",
      "          [ 4.7121e-02, -6.5354e-03,  8.0700e-02]],\n",
      "\n",
      "         [[-3.5138e-02,  3.2363e-02, -5.7873e-02],\n",
      "          [-9.8160e-02,  1.1970e-02, -4.8852e-02],\n",
      "          [ 5.1754e-03,  4.8765e-04, -6.6137e-02]]],\n",
      "\n",
      "\n",
      "        ...,\n",
      "\n",
      "\n",
      "        [[[ 5.9550e-02, -6.5043e-02,  5.9894e-02],\n",
      "          [-3.4639e-02,  7.0627e-02, -7.9442e-02],\n",
      "          [-4.1432e-02, -3.4345e-02,  1.6590e-02]],\n",
      "\n",
      "         [[ 7.2895e-02, -1.7656e-01,  1.0722e-01],\n",
      "          [-1.2563e-02,  1.1733e-01,  6.6268e-02],\n",
      "          [ 2.2307e-02,  3.2032e-02,  7.2290e-02]],\n",
      "\n",
      "         [[-9.0454e-03,  1.3481e-02, -4.6909e-03],\n",
      "          [-4.6450e-02,  9.8480e-03,  2.3062e-02],\n",
      "          [-4.9818e-02,  1.2764e-01, -4.8792e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-1.0158e-01, -2.7285e-02, -3.0719e-03],\n",
      "          [-4.1987e-02, -2.8339e-02, -4.2125e-02],\n",
      "          [-4.9471e-03, -8.2595e-02,  7.7952e-04]],\n",
      "\n",
      "         [[ 8.3096e-04,  2.5226e-02, -4.6760e-04],\n",
      "          [-6.3159e-02, -1.3314e-02,  7.1696e-02],\n",
      "          [-7.6209e-02,  1.9887e-02, -2.0741e-02]],\n",
      "\n",
      "         [[-3.1541e-02,  5.5106e-02,  6.9345e-02],\n",
      "          [-8.4866e-02,  6.8984e-02, -2.4408e-02],\n",
      "          [ 6.1711e-02, -5.2306e-02, -6.4428e-02]]],\n",
      "\n",
      "\n",
      "        [[[ 1.4441e-02, -5.3561e-02,  1.9655e-02],\n",
      "          [ 1.4442e-02, -5.0339e-02,  1.4490e-02],\n",
      "          [-7.1339e-02, -5.5450e-02, -1.5003e-02]],\n",
      "\n",
      "         [[-7.0161e-02,  2.9938e-02, -4.0941e-02],\n",
      "          [ 9.6003e-03,  4.2212e-02, -3.9377e-02],\n",
      "          [ 2.4931e-02,  2.6528e-02,  3.3949e-02]],\n",
      "\n",
      "         [[-2.0828e-02,  5.6380e-02, -8.6205e-02],\n",
      "          [ 1.0677e-02, -1.2200e-01, -6.8588e-02],\n",
      "          [ 7.0336e-03, -5.2812e-02, -1.2139e-01]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 5.3942e-02,  5.6376e-02,  2.1900e-02],\n",
      "          [ 9.4609e-02, -9.0329e-02, -7.7205e-02],\n",
      "          [ 9.8462e-03,  4.0143e-04, -7.3560e-02]],\n",
      "\n",
      "         [[ 6.4322e-02,  5.4599e-02,  4.6997e-04],\n",
      "          [-6.2833e-02,  3.7904e-02,  2.3504e-02],\n",
      "          [ 1.7118e-02, -4.4595e-02, -7.8575e-03]],\n",
      "\n",
      "         [[-1.8990e-02,  7.4215e-02, -8.0513e-02],\n",
      "          [-4.2641e-02,  4.6377e-04,  8.7445e-02],\n",
      "          [-1.0320e-01, -2.7311e-02,  4.8038e-02]]],\n",
      "\n",
      "\n",
      "        [[[-3.8423e-02, -1.9892e-02,  4.8802e-02],\n",
      "          [-1.3288e-02, -3.6193e-02, -7.6355e-02],\n",
      "          [-4.8640e-03,  4.0581e-02,  1.4880e-02]],\n",
      "\n",
      "         [[-6.6477e-02, -3.6790e-02, -4.5180e-02],\n",
      "          [ 4.8433e-02, -2.2602e-02, -8.5382e-03],\n",
      "          [ 9.7510e-02,  1.1501e-01,  5.8470e-02]],\n",
      "\n",
      "         [[ 5.8749e-02,  2.8519e-03, -3.1830e-02],\n",
      "          [ 3.2287e-02,  5.8669e-02, -4.4520e-02],\n",
      "          [ 6.4915e-03, -3.8954e-02,  6.8109e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-2.0314e-02,  1.3651e-02, -3.2885e-02],\n",
      "          [ 1.2010e-01, -7.0658e-03,  3.6395e-02],\n",
      "          [-9.9069e-02,  2.7034e-02, -1.1913e-01]],\n",
      "\n",
      "         [[ 4.6874e-02,  5.5092e-02,  3.9756e-02],\n",
      "          [ 2.7373e-02,  4.8595e-02, -6.1260e-02],\n",
      "          [-1.0147e-01, -6.4725e-02,  8.5916e-03]],\n",
      "\n",
      "         [[-1.0858e-01, -3.9467e-03,  6.2750e-02],\n",
      "          [-3.9499e-02,  5.1669e-02, -5.1897e-02],\n",
      "          [-2.6156e-02, -2.1076e-02,  7.5448e-02]]]])\n",
      "\n",
      "layer1.0.bn2.weight\n",
      "tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1.])\n",
      "\n",
      "layer1.0.bn2.bias\n",
      "tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.])\n",
      "\n",
      "layer1.0.bn2.running_mean\n",
      "tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.])\n",
      "\n",
      "layer1.0.bn2.running_var\n",
      "tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1.])\n",
      "\n",
      "layer1.0.bn2.num_batches_tracked\n",
      "tensor(0)\n",
      "\n",
      "layer1.1.conv1.weight\n",
      "tensor([[[[-4.0539e-02,  4.1707e-02, -3.9197e-02],\n",
      "          [-8.3590e-02, -1.2992e-02,  3.8582e-02],\n",
      "          [-1.2523e-01,  8.8872e-03, -1.5397e-01]],\n",
      "\n",
      "         [[ 3.0518e-02,  8.9290e-02,  2.4209e-02],\n",
      "          [ 2.8709e-02,  4.5627e-03,  3.7525e-02],\n",
      "          [-1.5727e-01, -3.2905e-02, -4.4688e-02]],\n",
      "\n",
      "         [[-3.9618e-03,  3.4509e-02, -5.5632e-02],\n",
      "          [ 3.3930e-02, -5.1925e-02, -9.2560e-03],\n",
      "          [-5.9979e-02, -7.6384e-02,  1.0929e-01]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-7.4984e-02,  1.1827e-03,  6.7654e-02],\n",
      "          [-7.5140e-02, -5.2881e-02,  9.8234e-02],\n",
      "          [ 3.7994e-02, -3.9707e-02,  7.2399e-02]],\n",
      "\n",
      "         [[ 1.1069e-01, -1.0035e-01, -1.8802e-02],\n",
      "          [-5.8904e-02,  7.9628e-02,  3.0931e-02],\n",
      "          [ 7.3107e-02, -1.2940e-01, -6.8062e-02]],\n",
      "\n",
      "         [[-1.6318e-02,  3.3833e-02, -1.8848e-02],\n",
      "          [-3.5061e-02,  4.5615e-02, -7.1797e-02],\n",
      "          [-7.1534e-02,  4.6565e-02, -4.9211e-02]]],\n",
      "\n",
      "\n",
      "        [[[-5.2797e-03, -1.8185e-03, -1.4875e-02],\n",
      "          [ 2.4672e-02,  8.3401e-02, -4.4965e-02],\n",
      "          [ 3.6314e-02, -3.3429e-02,  1.2659e-02]],\n",
      "\n",
      "         [[ 8.7283e-02, -6.1130e-03, -8.4556e-02],\n",
      "          [-6.3656e-03,  8.2620e-02,  1.6929e-02],\n",
      "          [ 5.5544e-02,  8.4275e-02,  3.2760e-02]],\n",
      "\n",
      "         [[-1.4713e-02, -1.0278e-01, -4.8282e-02],\n",
      "          [-6.0775e-02,  3.4698e-02,  4.3501e-03],\n",
      "          [-6.3868e-02, -1.2245e-01, -6.6917e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 8.2974e-02,  9.3093e-03, -1.6317e-02],\n",
      "          [-2.1997e-02,  3.9686e-02, -4.7701e-02],\n",
      "          [-8.9908e-02, -4.6132e-02, -6.8083e-02]],\n",
      "\n",
      "         [[-2.7200e-02,  3.7644e-02, -3.5102e-02],\n",
      "          [ 5.6694e-02, -3.3774e-02,  6.3973e-02],\n",
      "          [-1.0398e-01, -8.8803e-03, -1.4053e-02]],\n",
      "\n",
      "         [[ 7.3949e-03, -1.6798e-02, -1.8842e-02],\n",
      "          [-9.9189e-02,  1.4546e-02, -8.5325e-02],\n",
      "          [-2.1656e-02, -1.1558e-01,  7.5813e-02]]],\n",
      "\n",
      "\n",
      "        [[[-1.9020e-03,  1.2840e-01, -1.0057e-01],\n",
      "          [ 2.7943e-02, -6.4735e-02, -4.1267e-03],\n",
      "          [-5.1879e-02,  5.8087e-02, -1.1356e-01]],\n",
      "\n",
      "         [[ 1.6205e-02,  3.1285e-02,  6.6810e-02],\n",
      "          [ 5.6456e-02, -1.4985e-01,  6.6983e-02],\n",
      "          [-2.2887e-02,  4.0819e-02, -6.7986e-03]],\n",
      "\n",
      "         [[-2.9063e-02, -1.0306e-01, -4.8212e-02],\n",
      "          [-1.4198e-02,  2.0423e-02,  1.2394e-01],\n",
      "          [-6.2598e-02, -5.0291e-02, -2.0940e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-3.3533e-02,  5.8353e-02,  2.7477e-02],\n",
      "          [-5.0643e-02, -1.6212e-04, -3.7533e-02],\n",
      "          [ 1.9368e-02, -1.7194e-01,  4.2873e-02]],\n",
      "\n",
      "         [[ 4.8789e-02,  3.6756e-02, -6.7663e-02],\n",
      "          [ 3.5429e-02, -9.7908e-02,  1.2557e-02],\n",
      "          [-1.1232e-01,  4.2710e-02, -1.5131e-01]],\n",
      "\n",
      "         [[-1.0252e-01, -7.7912e-02,  1.0816e-01],\n",
      "          [ 4.8342e-02, -1.5531e-04,  2.3126e-02],\n",
      "          [ 1.5578e-02,  4.5172e-03, -2.0616e-02]]],\n",
      "\n",
      "\n",
      "        ...,\n",
      "\n",
      "\n",
      "        [[[-6.0458e-02,  6.0863e-02,  7.8613e-02],\n",
      "          [ 5.7259e-02, -5.7976e-02, -3.9741e-02],\n",
      "          [ 4.4324e-02, -8.3199e-03, -1.4103e-02]],\n",
      "\n",
      "         [[-1.0322e-02,  1.6352e-02,  2.4184e-02],\n",
      "          [-3.3666e-03,  1.0990e-01, -1.5701e-02],\n",
      "          [-2.3589e-02, -3.5190e-02,  5.0171e-02]],\n",
      "\n",
      "         [[ 8.4091e-03, -3.7193e-02, -8.5785e-02],\n",
      "          [ 3.1663e-02,  8.8773e-02, -2.7288e-02],\n",
      "          [-7.5514e-02,  1.1385e-02,  2.4654e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 1.2301e-01, -5.8383e-02, -3.1146e-02],\n",
      "          [-6.9502e-02,  3.5565e-02, -3.3797e-02],\n",
      "          [-7.6988e-02, -1.7598e-01,  8.6066e-02]],\n",
      "\n",
      "         [[-1.5776e-04, -4.2701e-02,  4.1501e-02],\n",
      "          [-4.7100e-02, -1.1288e-02,  4.4807e-03],\n",
      "          [-1.3100e-02, -4.1811e-02,  4.3495e-02]],\n",
      "\n",
      "         [[-3.8049e-02, -2.2814e-02, -1.1148e-02],\n",
      "          [-3.5775e-02,  6.0835e-02,  1.7940e-02],\n",
      "          [-1.2689e-02,  1.1063e-01, -3.7679e-02]]],\n",
      "\n",
      "\n",
      "        [[[ 2.4346e-02,  7.4137e-02,  3.0775e-02],\n",
      "          [-3.0760e-02, -4.3956e-02,  5.0057e-02],\n",
      "          [ 8.3004e-02,  1.1581e-02,  5.9380e-02]],\n",
      "\n",
      "         [[-4.8951e-02, -4.1493e-02,  1.6057e-02],\n",
      "          [ 4.6237e-02, -1.1280e-01,  1.2524e-02],\n",
      "          [ 1.7094e-02,  3.8667e-03,  1.4577e-01]],\n",
      "\n",
      "         [[-4.3490e-02, -5.7824e-02, -3.8995e-02],\n",
      "          [ 7.9074e-02, -3.7316e-02,  5.8370e-02],\n",
      "          [ 6.6888e-02, -1.0951e-02, -4.8593e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-4.3226e-02, -6.6779e-02,  2.8726e-02],\n",
      "          [-2.3920e-02,  4.6389e-02, -3.0336e-02],\n",
      "          [ 2.4999e-02, -9.3810e-02, -8.0205e-02]],\n",
      "\n",
      "         [[-8.3047e-03, -9.4064e-02,  3.4672e-02],\n",
      "          [-1.0189e-02, -5.1927e-02, -3.0882e-02],\n",
      "          [-6.5783e-02, -1.8334e-02, -9.5541e-02]],\n",
      "\n",
      "         [[ 4.3332e-02, -6.9047e-02, -3.8345e-03],\n",
      "          [-5.3155e-02,  6.1689e-02,  5.2455e-02],\n",
      "          [ 5.4361e-02,  4.0321e-02,  4.2264e-02]]],\n",
      "\n",
      "\n",
      "        [[[-2.9597e-02,  2.4843e-02, -3.9862e-02],\n",
      "          [ 9.8154e-02, -5.7452e-02,  6.8990e-02],\n",
      "          [-3.8494e-02, -3.9652e-02, -4.9560e-02]],\n",
      "\n",
      "         [[-1.6615e-02,  1.3984e-02,  3.0810e-02],\n",
      "          [ 9.3569e-02,  4.0503e-02,  5.8140e-02],\n",
      "          [-1.9277e-02,  2.8522e-02, -7.2222e-03]],\n",
      "\n",
      "         [[-6.2062e-02,  8.5284e-02,  2.3227e-02],\n",
      "          [ 4.1527e-02, -3.8099e-02,  4.0592e-02],\n",
      "          [-9.4247e-02,  2.6437e-02,  5.7564e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-7.2411e-02, -5.6334e-02,  3.1623e-02],\n",
      "          [ 2.3911e-02,  7.2384e-02, -1.0749e-01],\n",
      "          [-3.3682e-02, -1.8295e-02, -1.5918e-02]],\n",
      "\n",
      "         [[ 3.1362e-02, -9.2325e-02, -2.1794e-02],\n",
      "          [-1.4087e-02,  8.1765e-03,  2.3758e-02],\n",
      "          [ 8.1903e-03,  1.1445e-01, -1.5390e-02]],\n",
      "\n",
      "         [[-7.2254e-02,  1.0350e-02,  1.0799e-01],\n",
      "          [-1.1749e-02,  5.7151e-02, -3.8615e-02],\n",
      "          [ 2.7490e-02, -6.4090e-02,  2.5700e-02]]]])\n",
      "\n",
      "layer1.1.bn1.weight\n",
      "tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1.])\n",
      "\n",
      "layer1.1.bn1.bias\n",
      "tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.])\n",
      "\n",
      "layer1.1.bn1.running_mean\n",
      "tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.])\n",
      "\n",
      "layer1.1.bn1.running_var\n",
      "tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1.])\n",
      "\n",
      "layer1.1.bn1.num_batches_tracked\n",
      "tensor(0)\n",
      "\n",
      "layer1.1.conv2.weight\n",
      "tensor([[[[ 5.6807e-02,  4.1898e-02,  1.0752e-01],\n",
      "          [ 3.2150e-02, -5.7839e-02,  5.8071e-02],\n",
      "          [-7.0952e-02,  1.7010e-01,  2.4694e-02]],\n",
      "\n",
      "         [[ 1.9090e-02,  9.1638e-02,  7.1211e-02],\n",
      "          [-7.2662e-03, -2.9625e-02,  4.1635e-02],\n",
      "          [ 3.6456e-03, -3.0363e-03,  5.5961e-02]],\n",
      "\n",
      "         [[-1.7835e-02, -4.3877e-02,  1.1117e-02],\n",
      "          [-2.1022e-02, -1.7675e-02,  9.8534e-03],\n",
      "          [ 1.2773e-02, -9.1673e-02,  2.8336e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 2.4742e-02, -4.2009e-02, -8.7186e-03],\n",
      "          [ 1.6501e-02,  2.1097e-02,  9.1638e-03],\n",
      "          [ 6.0675e-02, -5.2712e-02, -1.6816e-03]],\n",
      "\n",
      "         [[ 2.5967e-02, -6.0049e-03,  7.5478e-03],\n",
      "          [ 6.1181e-02,  1.4624e-01, -8.4884e-02],\n",
      "          [ 3.7705e-02,  8.6047e-02, -4.4900e-02]],\n",
      "\n",
      "         [[ 4.3889e-02, -4.7613e-03,  1.7560e-02],\n",
      "          [-2.9641e-02, -6.1584e-02, -3.7797e-04],\n",
      "          [ 2.5209e-02,  3.9425e-02,  1.0539e-01]]],\n",
      "\n",
      "\n",
      "        [[[ 2.1603e-02, -1.2981e-01, -1.2275e-02],\n",
      "          [ 3.2636e-02,  2.4209e-02, -4.2217e-03],\n",
      "          [ 6.3139e-02,  4.2635e-02, -1.2085e-01]],\n",
      "\n",
      "         [[-6.3496e-02,  4.4930e-02,  7.7041e-02],\n",
      "          [-2.1225e-02,  1.4264e-02,  3.2253e-02],\n",
      "          [-1.5345e-01,  5.6473e-02, -2.5607e-02]],\n",
      "\n",
      "         [[-8.2100e-02, -4.3552e-02,  5.5468e-02],\n",
      "          [-2.8069e-02, -3.7068e-02,  4.1640e-02],\n",
      "          [-6.1305e-02,  5.2215e-02, -3.6371e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 9.5544e-02, -4.4197e-03,  2.6433e-02],\n",
      "          [ 2.9098e-02,  7.8314e-02, -2.4771e-02],\n",
      "          [-1.3031e-02, -5.3804e-02, -6.1933e-02]],\n",
      "\n",
      "         [[ 4.8871e-03,  3.4026e-02, -4.8072e-02],\n",
      "          [-1.0471e-02,  7.6364e-02, -1.1958e-01],\n",
      "          [ 5.9100e-03, -2.2791e-02,  2.7524e-02]],\n",
      "\n",
      "         [[ 2.7596e-02,  2.9453e-02,  1.5852e-01],\n",
      "          [ 2.2828e-02, -1.5159e-02, -4.1768e-02],\n",
      "          [-6.5840e-02, -1.8811e-02, -9.0284e-02]]],\n",
      "\n",
      "\n",
      "        [[[-8.0389e-02, -1.2329e-02, -2.6460e-02],\n",
      "          [ 1.0870e-01,  3.5146e-02, -5.4235e-02],\n",
      "          [-6.2107e-02, -1.8313e-02, -4.9795e-02]],\n",
      "\n",
      "         [[ 1.2215e-02,  4.7808e-02, -7.1917e-02],\n",
      "          [-5.2564e-02,  9.2811e-02,  1.4861e-02],\n",
      "          [ 1.9354e-03,  3.1085e-02,  1.2131e-01]],\n",
      "\n",
      "         [[-3.5599e-02, -9.2837e-03, -1.0506e-02],\n",
      "          [-8.3249e-02, -8.3763e-03,  3.1568e-02],\n",
      "          [ 1.3838e-01,  3.7263e-02, -1.1219e-03]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-9.9235e-02, -1.8385e-02,  6.7997e-02],\n",
      "          [ 4.8065e-02,  1.4165e-01,  1.2350e-02],\n",
      "          [ 4.3050e-02,  1.0217e-01, -4.0306e-02]],\n",
      "\n",
      "         [[ 5.7952e-02,  2.7080e-02, -7.2627e-02],\n",
      "          [-4.2953e-02,  8.8033e-02,  3.4709e-02],\n",
      "          [ 2.4321e-06,  2.2311e-02,  1.6538e-02]],\n",
      "\n",
      "         [[-8.0220e-02,  8.0749e-03, -3.6209e-02],\n",
      "          [-1.0378e-02, -5.4905e-02, -9.2694e-02],\n",
      "          [-2.4780e-02, -6.2896e-02, -8.3170e-02]]],\n",
      "\n",
      "\n",
      "        ...,\n",
      "\n",
      "\n",
      "        [[[ 5.9511e-02,  1.7696e-02,  5.5115e-02],\n",
      "          [-5.6125e-02,  2.1453e-02, -2.7692e-02],\n",
      "          [ 7.8787e-02,  1.7305e-02,  2.6912e-02]],\n",
      "\n",
      "         [[-8.8782e-02,  8.5701e-03, -4.6529e-02],\n",
      "          [-4.7705e-02,  3.2425e-02, -6.0380e-02],\n",
      "          [ 1.2595e-02, -1.6253e-03, -1.7669e-02]],\n",
      "\n",
      "         [[-1.6886e-02, -6.9502e-02,  3.1037e-02],\n",
      "          [ 2.9152e-02,  8.0839e-02, -1.4732e-02],\n",
      "          [ 4.6139e-02,  9.1202e-03, -2.9917e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 4.6149e-04,  6.0282e-03,  6.2864e-02],\n",
      "          [ 1.1684e-01, -3.2377e-02, -5.5761e-02],\n",
      "          [-4.3589e-02, -1.0269e-01, -4.2278e-02]],\n",
      "\n",
      "         [[ 5.0919e-02, -3.4567e-02,  2.6390e-02],\n",
      "          [ 1.4343e-01,  8.6092e-02,  4.9271e-03],\n",
      "          [ 2.8377e-02,  6.9603e-02, -2.9449e-03]],\n",
      "\n",
      "         [[ 4.1601e-02, -5.4121e-02, -3.0971e-02],\n",
      "          [ 2.1997e-02, -2.8832e-02, -2.6100e-02],\n",
      "          [-5.1356e-02, -5.7749e-02,  8.9750e-02]]],\n",
      "\n",
      "\n",
      "        [[[-4.9914e-02, -8.6551e-02,  4.7040e-02],\n",
      "          [ 2.4605e-02,  3.7924e-02,  7.6707e-02],\n",
      "          [-6.6375e-02,  2.9696e-02,  9.4564e-02]],\n",
      "\n",
      "         [[-2.4095e-02,  4.3210e-04, -7.0006e-03],\n",
      "          [-2.5501e-02, -1.0520e-01,  4.9981e-02],\n",
      "          [-5.9098e-03,  1.2905e-02, -1.9834e-02]],\n",
      "\n",
      "         [[ 3.2882e-03,  4.4368e-02,  2.6746e-02],\n",
      "          [ 4.1951e-03,  5.8910e-02,  4.2099e-02],\n",
      "          [ 2.7900e-02, -1.1931e-02, -5.3999e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-9.3626e-02,  4.0071e-02, -4.1539e-03],\n",
      "          [ 3.5675e-02,  6.9931e-02,  7.0987e-02],\n",
      "          [ 6.4737e-02, -1.0883e-01,  1.0453e-02]],\n",
      "\n",
      "         [[-7.1451e-02,  1.9081e-02,  8.3250e-03],\n",
      "          [-1.1146e-01,  4.8460e-02, -8.7117e-02],\n",
      "          [ 9.6205e-02,  2.6246e-02, -6.0969e-02]],\n",
      "\n",
      "         [[ 1.2658e-02, -4.3652e-02,  3.1314e-02],\n",
      "          [-4.2488e-02,  5.9313e-05,  1.3307e-01],\n",
      "          [ 3.7263e-02,  1.0284e-01,  6.7430e-02]]],\n",
      "\n",
      "\n",
      "        [[[-7.5455e-02, -3.2546e-03,  3.0746e-02],\n",
      "          [-1.2110e-01,  5.7180e-02, -7.2581e-02],\n",
      "          [-7.0612e-02, -7.3510e-02, -3.9199e-02]],\n",
      "\n",
      "         [[ 1.5580e-02,  5.1052e-02,  7.3063e-02],\n",
      "          [-2.3072e-03, -5.7245e-02, -4.5606e-02],\n",
      "          [ 2.6552e-02,  4.1357e-02, -1.2127e-02]],\n",
      "\n",
      "         [[-4.3001e-02, -2.0978e-02, -3.4690e-02],\n",
      "          [ 4.7461e-03, -2.0601e-02, -5.6137e-02],\n",
      "          [ 8.2436e-02, -2.6185e-02, -6.9412e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-9.0667e-02, -2.7459e-02, -1.9679e-02],\n",
      "          [ 3.7946e-02, -6.4583e-02, -3.9429e-02],\n",
      "          [ 5.0408e-02,  5.8439e-03, -8.9284e-02]],\n",
      "\n",
      "         [[ 7.3962e-02,  4.5785e-02, -6.5227e-02],\n",
      "          [ 9.0157e-02,  6.4476e-04,  4.7001e-03],\n",
      "          [ 7.7988e-03,  4.9544e-02, -1.0278e-02]],\n",
      "\n",
      "         [[-5.5093e-02, -1.9538e-02, -1.3612e-01],\n",
      "          [-4.8136e-02,  1.9098e-02, -3.6958e-02],\n",
      "          [-2.3607e-01, -5.0979e-02,  2.8181e-02]]]])\n",
      "\n",
      "layer1.1.bn2.weight\n",
      "tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1.])\n",
      "\n",
      "layer1.1.bn2.bias\n",
      "tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.])\n",
      "\n",
      "layer1.1.bn2.running_mean\n",
      "tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.])\n",
      "\n",
      "layer1.1.bn2.running_var\n",
      "tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1.])\n",
      "\n",
      "layer1.1.bn2.num_batches_tracked\n",
      "tensor(0)\n",
      "\n",
      "layer2.0.conv1.weight\n",
      "tensor([[[[ 0.0215, -0.0715,  0.0164],\n",
      "          [ 0.0511,  0.0039, -0.0247],\n",
      "          [-0.0137, -0.0002, -0.0619]],\n",
      "\n",
      "         [[ 0.0005,  0.0128,  0.0608],\n",
      "          [ 0.0779, -0.0107,  0.0393],\n",
      "          [ 0.0486,  0.0251,  0.0718]],\n",
      "\n",
      "         [[ 0.0178,  0.0537, -0.0242],\n",
      "          [-0.0097, -0.0287,  0.0062],\n",
      "          [ 0.0563,  0.0324, -0.0930]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-0.0425,  0.0147,  0.0411],\n",
      "          [ 0.0138,  0.0414, -0.0555],\n",
      "          [ 0.0599, -0.0152, -0.0004]],\n",
      "\n",
      "         [[ 0.0177, -0.0100, -0.0307],\n",
      "          [ 0.0841,  0.0168,  0.0296],\n",
      "          [ 0.0214,  0.0112, -0.0136]],\n",
      "\n",
      "         [[ 0.0536,  0.0443,  0.0166],\n",
      "          [-0.0106, -0.0642,  0.0027],\n",
      "          [-0.0272, -0.0113, -0.0183]]],\n",
      "\n",
      "\n",
      "        [[[-0.0147, -0.0812,  0.0320],\n",
      "          [-0.0336, -0.0172, -0.0281],\n",
      "          [-0.0285,  0.0873,  0.0587]],\n",
      "\n",
      "         [[-0.0892,  0.0209,  0.0332],\n",
      "          [ 0.0199,  0.0082,  0.0327],\n",
      "          [ 0.0535,  0.0411,  0.0511]],\n",
      "\n",
      "         [[-0.0066, -0.0079, -0.0447],\n",
      "          [ 0.0442,  0.0346, -0.0220],\n",
      "          [-0.0221,  0.0010, -0.0679]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 0.0129,  0.0790,  0.0433],\n",
      "          [ 0.0312,  0.0269, -0.0008],\n",
      "          [-0.0350, -0.0043, -0.0004]],\n",
      "\n",
      "         [[-0.0130, -0.0184,  0.0513],\n",
      "          [ 0.0299, -0.0951, -0.0075],\n",
      "          [ 0.0327,  0.0143, -0.0761]],\n",
      "\n",
      "         [[-0.0194, -0.0023,  0.0308],\n",
      "          [-0.0558,  0.0075,  0.0355],\n",
      "          [-0.0021, -0.0684, -0.0473]]],\n",
      "\n",
      "\n",
      "        [[[-0.0472, -0.0252, -0.0192],\n",
      "          [-0.0690, -0.0052, -0.0088],\n",
      "          [ 0.0173,  0.0075, -0.0069]],\n",
      "\n",
      "         [[-0.0307,  0.0467, -0.0227],\n",
      "          [-0.0537,  0.0536, -0.0090],\n",
      "          [ 0.0381, -0.0306,  0.1087]],\n",
      "\n",
      "         [[ 0.0479,  0.0633, -0.0205],\n",
      "          [ 0.0147, -0.0157,  0.0156],\n",
      "          [ 0.0518, -0.0103, -0.0455]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-0.0079, -0.0199, -0.0746],\n",
      "          [-0.0079, -0.0521, -0.0479],\n",
      "          [ 0.0354,  0.0132, -0.0566]],\n",
      "\n",
      "         [[-0.0405, -0.0351,  0.0716],\n",
      "          [-0.0252, -0.0963,  0.0239],\n",
      "          [ 0.0299, -0.0401,  0.0503]],\n",
      "\n",
      "         [[ 0.0391,  0.0105,  0.0009],\n",
      "          [ 0.0535,  0.0432, -0.0291],\n",
      "          [-0.0037, -0.0181, -0.0609]]],\n",
      "\n",
      "\n",
      "        ...,\n",
      "\n",
      "\n",
      "        [[[ 0.0087,  0.0135, -0.0697],\n",
      "          [ 0.0077,  0.0820, -0.0359],\n",
      "          [-0.0771, -0.0621,  0.0256]],\n",
      "\n",
      "         [[-0.0451,  0.0066, -0.0442],\n",
      "          [ 0.0446, -0.0015,  0.0170],\n",
      "          [ 0.0118,  0.0162, -0.0087]],\n",
      "\n",
      "         [[ 0.1097,  0.0447, -0.0895],\n",
      "          [-0.0568, -0.0470, -0.0326],\n",
      "          [ 0.0650,  0.0256,  0.0214]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 0.0399,  0.0194, -0.0871],\n",
      "          [ 0.0049,  0.0888,  0.0203],\n",
      "          [ 0.0059,  0.0699,  0.0286]],\n",
      "\n",
      "         [[-0.0340,  0.0186, -0.0081],\n",
      "          [ 0.0467,  0.0100,  0.0331],\n",
      "          [ 0.1016,  0.0080, -0.0455]],\n",
      "\n",
      "         [[-0.0556, -0.0157, -0.0680],\n",
      "          [ 0.0404,  0.0163,  0.0405],\n",
      "          [ 0.0241,  0.0607, -0.0394]]],\n",
      "\n",
      "\n",
      "        [[[ 0.0615, -0.0434,  0.0422],\n",
      "          [-0.0247,  0.0275, -0.0121],\n",
      "          [ 0.0660, -0.0469, -0.0038]],\n",
      "\n",
      "         [[-0.0145,  0.0316,  0.0253],\n",
      "          [-0.0388,  0.0188,  0.0082],\n",
      "          [ 0.0289, -0.0508, -0.0063]],\n",
      "\n",
      "         [[ 0.0483,  0.0648,  0.0137],\n",
      "          [ 0.0405,  0.0400,  0.0281],\n",
      "          [ 0.0182, -0.0409, -0.0163]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 0.0265,  0.0735, -0.0537],\n",
      "          [ 0.0533,  0.0348,  0.0395],\n",
      "          [ 0.0056, -0.0032,  0.0354]],\n",
      "\n",
      "         [[ 0.0608, -0.0264,  0.0038],\n",
      "          [-0.0165, -0.0984,  0.0291],\n",
      "          [ 0.0061, -0.0370,  0.0287]],\n",
      "\n",
      "         [[ 0.0194, -0.0118,  0.0430],\n",
      "          [ 0.0483, -0.0778,  0.0063],\n",
      "          [-0.0205, -0.0033, -0.0257]]],\n",
      "\n",
      "\n",
      "        [[[ 0.0573,  0.0097, -0.0502],\n",
      "          [ 0.0501, -0.0178,  0.0633],\n",
      "          [-0.0800, -0.0113,  0.1057]],\n",
      "\n",
      "         [[ 0.0333,  0.0297,  0.0166],\n",
      "          [-0.0144, -0.0115, -0.0239],\n",
      "          [-0.0420,  0.0057,  0.0142]],\n",
      "\n",
      "         [[-0.0113, -0.0178,  0.0399],\n",
      "          [-0.0082, -0.0378,  0.0128],\n",
      "          [ 0.0358, -0.1068,  0.0019]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 0.0309,  0.0119, -0.0222],\n",
      "          [-0.0348, -0.0568, -0.0251],\n",
      "          [ 0.0499,  0.1050,  0.0098]],\n",
      "\n",
      "         [[ 0.0255,  0.0168,  0.0263],\n",
      "          [-0.0222, -0.0278, -0.0258],\n",
      "          [ 0.0258, -0.0125,  0.0681]],\n",
      "\n",
      "         [[ 0.0008, -0.0529, -0.0063],\n",
      "          [ 0.0018, -0.0321, -0.0076],\n",
      "          [-0.0280,  0.0082, -0.0269]]]])\n",
      "\n",
      "layer2.0.bn1.weight\n",
      "tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1.])\n",
      "\n",
      "layer2.0.bn1.bias\n",
      "tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0.])\n",
      "\n",
      "layer2.0.bn1.running_mean\n",
      "tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0.])\n",
      "\n",
      "layer2.0.bn1.running_var\n",
      "tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1.])\n",
      "\n",
      "layer2.0.bn1.num_batches_tracked\n",
      "tensor(0)\n",
      "\n",
      "layer2.0.conv2.weight\n",
      "tensor([[[[ 0.0317, -0.0221, -0.0130],\n",
      "          [ 0.0271, -0.0100,  0.0627],\n",
      "          [ 0.0351, -0.0405,  0.0338]],\n",
      "\n",
      "         [[ 0.0025,  0.0743,  0.0202],\n",
      "          [ 0.0336, -0.0080,  0.0522],\n",
      "          [-0.0410,  0.0074,  0.0668]],\n",
      "\n",
      "         [[ 0.0155,  0.0007,  0.0349],\n",
      "          [ 0.0026,  0.0008,  0.0032],\n",
      "          [-0.0004, -0.0638,  0.0293]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-0.0120,  0.0595,  0.0178],\n",
      "          [-0.0057,  0.0078, -0.0285],\n",
      "          [ 0.0064, -0.0097, -0.0851]],\n",
      "\n",
      "         [[-0.0120, -0.0794, -0.0950],\n",
      "          [-0.0025, -0.0855, -0.0221],\n",
      "          [ 0.0638, -0.0533, -0.0418]],\n",
      "\n",
      "         [[-0.0611, -0.0164,  0.0401],\n",
      "          [ 0.0503, -0.0266,  0.0458],\n",
      "          [ 0.0118, -0.0476, -0.0103]]],\n",
      "\n",
      "\n",
      "        [[[-0.0113,  0.0668, -0.0057],\n",
      "          [-0.0215,  0.0148,  0.0225],\n",
      "          [ 0.0229, -0.0970, -0.0479]],\n",
      "\n",
      "         [[ 0.0773,  0.0317, -0.0115],\n",
      "          [ 0.0356, -0.0020,  0.0109],\n",
      "          [ 0.0878, -0.0411, -0.0058]],\n",
      "\n",
      "         [[-0.0226, -0.0312,  0.0015],\n",
      "          [ 0.1090,  0.0113,  0.0837],\n",
      "          [ 0.0494,  0.0254, -0.0006]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-0.0471,  0.0035, -0.0134],\n",
      "          [ 0.0158,  0.0426,  0.0787],\n",
      "          [-0.0375,  0.0097, -0.0803]],\n",
      "\n",
      "         [[-0.0521, -0.0015, -0.0336],\n",
      "          [ 0.0002, -0.0042,  0.0074],\n",
      "          [ 0.0426,  0.0246,  0.0028]],\n",
      "\n",
      "         [[ 0.0335, -0.0067,  0.0186],\n",
      "          [ 0.0969, -0.0282,  0.0187],\n",
      "          [-0.0267, -0.0230,  0.0466]]],\n",
      "\n",
      "\n",
      "        [[[-0.1107,  0.0656, -0.0191],\n",
      "          [-0.0389,  0.0071,  0.0215],\n",
      "          [ 0.0026,  0.0271,  0.0275]],\n",
      "\n",
      "         [[-0.0653, -0.0192,  0.0365],\n",
      "          [ 0.0049,  0.0829,  0.0076],\n",
      "          [ 0.0602,  0.0600,  0.0181]],\n",
      "\n",
      "         [[-0.0433, -0.0369, -0.0283],\n",
      "          [ 0.0961, -0.0088,  0.0749],\n",
      "          [ 0.0491,  0.0154,  0.0230]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 0.0088, -0.0045,  0.0321],\n",
      "          [-0.0257, -0.0573, -0.0043],\n",
      "          [-0.0062,  0.0639,  0.0035]],\n",
      "\n",
      "         [[ 0.0092, -0.0662, -0.0553],\n",
      "          [-0.0278, -0.0013, -0.0019],\n",
      "          [ 0.0218,  0.0614, -0.0423]],\n",
      "\n",
      "         [[ 0.0630,  0.0524, -0.0353],\n",
      "          [ 0.0151, -0.0090,  0.0033],\n",
      "          [ 0.0078, -0.0252,  0.0568]]],\n",
      "\n",
      "\n",
      "        ...,\n",
      "\n",
      "\n",
      "        [[[-0.0161,  0.0548,  0.0119],\n",
      "          [ 0.0149, -0.0196, -0.0237],\n",
      "          [ 0.0012, -0.1011, -0.0641]],\n",
      "\n",
      "         [[-0.0397, -0.0021,  0.0542],\n",
      "          [ 0.0510,  0.0321, -0.0525],\n",
      "          [ 0.0557,  0.0192, -0.0165]],\n",
      "\n",
      "         [[ 0.0102, -0.0048, -0.0506],\n",
      "          [-0.0828, -0.0146,  0.0595],\n",
      "          [ 0.0138,  0.0610, -0.0222]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-0.0321,  0.0301, -0.0504],\n",
      "          [-0.0403,  0.0193, -0.0348],\n",
      "          [-0.0737, -0.0406,  0.0049]],\n",
      "\n",
      "         [[ 0.0787,  0.0152, -0.0538],\n",
      "          [ 0.0142,  0.0271,  0.0163],\n",
      "          [ 0.0150, -0.0551,  0.0565]],\n",
      "\n",
      "         [[ 0.0389, -0.0082,  0.0701],\n",
      "          [ 0.0233, -0.0144,  0.0270],\n",
      "          [-0.0161,  0.0238,  0.0018]]],\n",
      "\n",
      "\n",
      "        [[[-0.0679,  0.0170,  0.0397],\n",
      "          [-0.0445, -0.0472, -0.0854],\n",
      "          [ 0.0507, -0.0443,  0.0340]],\n",
      "\n",
      "         [[-0.0026,  0.0303, -0.0080],\n",
      "          [-0.0011,  0.0344, -0.0488],\n",
      "          [-0.0088,  0.0376,  0.0109]],\n",
      "\n",
      "         [[-0.0106, -0.0227,  0.0112],\n",
      "          [ 0.0102, -0.0453,  0.0117],\n",
      "          [ 0.0230,  0.0617, -0.0203]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-0.0253, -0.0173,  0.0118],\n",
      "          [ 0.0355, -0.0475,  0.0145],\n",
      "          [ 0.0497, -0.0184, -0.0590]],\n",
      "\n",
      "         [[-0.0082, -0.0046,  0.0353],\n",
      "          [ 0.0307,  0.0657,  0.0027],\n",
      "          [-0.0287,  0.0354,  0.0068]],\n",
      "\n",
      "         [[ 0.0543,  0.0941, -0.0230],\n",
      "          [ 0.0616, -0.0094, -0.0261],\n",
      "          [-0.0385, -0.0024,  0.0459]]],\n",
      "\n",
      "\n",
      "        [[[-0.0279,  0.0125,  0.0339],\n",
      "          [ 0.0344,  0.0622, -0.0698],\n",
      "          [-0.0056,  0.0420, -0.0004]],\n",
      "\n",
      "         [[ 0.0347, -0.0013, -0.0477],\n",
      "          [ 0.0151, -0.0013,  0.0420],\n",
      "          [ 0.0020, -0.0308, -0.0166]],\n",
      "\n",
      "         [[ 0.0007,  0.0315, -0.0367],\n",
      "          [-0.0149,  0.0054,  0.0221],\n",
      "          [ 0.0883,  0.0134,  0.0494]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 0.0144, -0.0037,  0.0162],\n",
      "          [-0.0155,  0.0102, -0.0455],\n",
      "          [ 0.0132,  0.0713, -0.0153]],\n",
      "\n",
      "         [[-0.0408,  0.0077,  0.0105],\n",
      "          [-0.0076,  0.0229, -0.0119],\n",
      "          [ 0.0203, -0.0295, -0.0748]],\n",
      "\n",
      "         [[-0.0074,  0.0017, -0.0507],\n",
      "          [ 0.0117, -0.0521, -0.0304],\n",
      "          [-0.0274, -0.0138, -0.0166]]]])\n",
      "\n",
      "layer2.0.bn2.weight\n",
      "tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1.])\n",
      "\n",
      "layer2.0.bn2.bias\n",
      "tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0.])\n",
      "\n",
      "layer2.0.bn2.running_mean\n",
      "tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0.])\n",
      "\n",
      "layer2.0.bn2.running_var\n",
      "tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1.])\n",
      "\n",
      "layer2.0.bn2.num_batches_tracked\n",
      "tensor(0)\n",
      "\n",
      "layer2.0.downsample.0.weight\n",
      "tensor([[[[-1.6492e-01]],\n",
      "\n",
      "         [[-8.7992e-02]],\n",
      "\n",
      "         [[-3.3740e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-5.9227e-02]],\n",
      "\n",
      "         [[-4.3189e-02]],\n",
      "\n",
      "         [[-1.0838e-01]]],\n",
      "\n",
      "\n",
      "        [[[ 3.1936e-01]],\n",
      "\n",
      "         [[-2.6698e-02]],\n",
      "\n",
      "         [[ 1.1137e-03]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 1.0507e-02]],\n",
      "\n",
      "         [[ 3.9487e-02]],\n",
      "\n",
      "         [[ 2.1504e-02]]],\n",
      "\n",
      "\n",
      "        [[[ 1.4068e-01]],\n",
      "\n",
      "         [[-6.1682e-02]],\n",
      "\n",
      "         [[ 5.3001e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 1.5629e-01]],\n",
      "\n",
      "         [[-1.3529e-01]],\n",
      "\n",
      "         [[ 1.0221e-01]]],\n",
      "\n",
      "\n",
      "        ...,\n",
      "\n",
      "\n",
      "        [[[ 1.8199e-01]],\n",
      "\n",
      "         [[-1.0692e-01]],\n",
      "\n",
      "         [[ 5.3688e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-1.1481e-01]],\n",
      "\n",
      "         [[-2.3214e-01]],\n",
      "\n",
      "         [[-1.0621e-01]]],\n",
      "\n",
      "\n",
      "        [[[-1.0868e-01]],\n",
      "\n",
      "         [[-3.7226e-06]],\n",
      "\n",
      "         [[ 3.2757e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-2.3488e-01]],\n",
      "\n",
      "         [[ 1.0596e-01]],\n",
      "\n",
      "         [[-9.3777e-02]]],\n",
      "\n",
      "\n",
      "        [[[-1.3479e-01]],\n",
      "\n",
      "         [[-7.9452e-02]],\n",
      "\n",
      "         [[-1.4672e-01]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-1.1017e-01]],\n",
      "\n",
      "         [[-1.3673e-01]],\n",
      "\n",
      "         [[-7.2408e-02]]]])\n",
      "\n",
      "layer2.0.downsample.1.weight\n",
      "tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1.])\n",
      "\n",
      "layer2.0.downsample.1.bias\n",
      "tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0.])\n",
      "\n",
      "layer2.0.downsample.1.running_mean\n",
      "tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0.])\n",
      "\n",
      "layer2.0.downsample.1.running_var\n",
      "tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1.])\n",
      "\n",
      "layer2.0.downsample.1.num_batches_tracked\n",
      "tensor(0)\n",
      "\n",
      "layer2.1.conv1.weight\n",
      "tensor([[[[ 0.0265, -0.0933,  0.0364],\n",
      "          [ 0.0098,  0.0085, -0.0105],\n",
      "          [-0.0227,  0.1022, -0.0137]],\n",
      "\n",
      "         [[-0.0163,  0.0149, -0.0496],\n",
      "          [ 0.0363,  0.0338, -0.0543],\n",
      "          [-0.0259, -0.0439, -0.0130]],\n",
      "\n",
      "         [[-0.0147, -0.0529,  0.0562],\n",
      "          [-0.0371, -0.0564, -0.0725],\n",
      "          [ 0.0544, -0.0665,  0.0217]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-0.0536, -0.0201, -0.0236],\n",
      "          [ 0.0299,  0.0166,  0.0224],\n",
      "          [ 0.0676, -0.0394,  0.0168]],\n",
      "\n",
      "         [[-0.0510, -0.0243,  0.0020],\n",
      "          [-0.0386, -0.0842,  0.0482],\n",
      "          [-0.0728, -0.0485,  0.0017]],\n",
      "\n",
      "         [[-0.0905,  0.0051,  0.0587],\n",
      "          [-0.0137,  0.0414,  0.1102],\n",
      "          [-0.0203, -0.0593, -0.0455]]],\n",
      "\n",
      "\n",
      "        [[[ 0.0512, -0.0221, -0.0932],\n",
      "          [ 0.0394, -0.0201,  0.0197],\n",
      "          [-0.0022, -0.0507,  0.0323]],\n",
      "\n",
      "         [[ 0.0702,  0.0166,  0.0183],\n",
      "          [ 0.0440,  0.0258,  0.0238],\n",
      "          [-0.0286,  0.0613, -0.0217]],\n",
      "\n",
      "         [[-0.0557, -0.0191,  0.0812],\n",
      "          [-0.0009,  0.0427,  0.0282],\n",
      "          [-0.0120,  0.0147,  0.0129]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-0.0663,  0.0474,  0.0439],\n",
      "          [ 0.0387,  0.1031, -0.0611],\n",
      "          [ 0.0167, -0.0501,  0.0045]],\n",
      "\n",
      "         [[-0.0578, -0.0382, -0.0470],\n",
      "          [-0.0417, -0.0242, -0.0203],\n",
      "          [-0.0530,  0.0427,  0.0225]],\n",
      "\n",
      "         [[ 0.0658, -0.0412, -0.0594],\n",
      "          [ 0.0621,  0.0634,  0.0636],\n",
      "          [-0.0332, -0.0158, -0.0115]]],\n",
      "\n",
      "\n",
      "        [[[-0.0371, -0.0657,  0.0669],\n",
      "          [ 0.0144, -0.0375,  0.0040],\n",
      "          [ 0.0380,  0.0279,  0.0420]],\n",
      "\n",
      "         [[-0.0192, -0.0317,  0.0204],\n",
      "          [-0.0419, -0.0173, -0.0407],\n",
      "          [-0.0778, -0.0215,  0.0270]],\n",
      "\n",
      "         [[-0.0045,  0.0374,  0.0567],\n",
      "          [ 0.0199, -0.0704, -0.0358],\n",
      "          [-0.0237,  0.0146, -0.0109]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 0.0254, -0.0042,  0.0670],\n",
      "          [ 0.0016,  0.0033, -0.0891],\n",
      "          [ 0.0349,  0.0245, -0.0499]],\n",
      "\n",
      "         [[ 0.0064, -0.0357, -0.0486],\n",
      "          [ 0.0252,  0.0149,  0.0614],\n",
      "          [ 0.0045,  0.0012,  0.0211]],\n",
      "\n",
      "         [[ 0.0032,  0.0462, -0.0093],\n",
      "          [-0.0369,  0.0518,  0.0031],\n",
      "          [ 0.0077, -0.0197, -0.0107]]],\n",
      "\n",
      "\n",
      "        ...,\n",
      "\n",
      "\n",
      "        [[[-0.0572,  0.0954, -0.0479],\n",
      "          [-0.0369,  0.1137,  0.0628],\n",
      "          [ 0.0430,  0.0289,  0.0074]],\n",
      "\n",
      "         [[ 0.0252, -0.0446, -0.0049],\n",
      "          [-0.0135,  0.0448, -0.0166],\n",
      "          [-0.0135,  0.0149,  0.0087]],\n",
      "\n",
      "         [[ 0.0392, -0.0742,  0.0161],\n",
      "          [ 0.0129,  0.0657, -0.0145],\n",
      "          [ 0.0012, -0.0068, -0.0342]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 0.0156,  0.0002,  0.0325],\n",
      "          [-0.0073,  0.0004,  0.0452],\n",
      "          [ 0.0339, -0.0539,  0.0516]],\n",
      "\n",
      "         [[-0.0225,  0.0162,  0.0666],\n",
      "          [ 0.0268, -0.0412,  0.0324],\n",
      "          [ 0.0326, -0.0277,  0.0675]],\n",
      "\n",
      "         [[ 0.0682, -0.0148, -0.0747],\n",
      "          [ 0.0349,  0.0633, -0.0166],\n",
      "          [-0.0835, -0.0048,  0.0428]]],\n",
      "\n",
      "\n",
      "        [[[ 0.0030,  0.0215,  0.0004],\n",
      "          [-0.0209,  0.0117, -0.0111],\n",
      "          [-0.0645, -0.0252,  0.0250]],\n",
      "\n",
      "         [[-0.0334,  0.0175, -0.0298],\n",
      "          [-0.0847, -0.0189,  0.0385],\n",
      "          [-0.0343, -0.0050,  0.0242]],\n",
      "\n",
      "         [[ 0.1068, -0.0620,  0.0050],\n",
      "          [ 0.0094, -0.0181, -0.0106],\n",
      "          [-0.0365, -0.0014, -0.0767]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 0.0300,  0.0307, -0.0321],\n",
      "          [ 0.0112,  0.0822, -0.0324],\n",
      "          [-0.0742, -0.0151, -0.0784]],\n",
      "\n",
      "         [[ 0.0500, -0.0397,  0.0940],\n",
      "          [-0.0885,  0.0028,  0.0627],\n",
      "          [ 0.0584,  0.0097, -0.0666]],\n",
      "\n",
      "         [[ 0.0259,  0.0572, -0.0544],\n",
      "          [-0.0044, -0.0326, -0.1041],\n",
      "          [ 0.0009,  0.0047,  0.0194]]],\n",
      "\n",
      "\n",
      "        [[[ 0.0784, -0.0235,  0.0075],\n",
      "          [ 0.0280, -0.0277, -0.0419],\n",
      "          [-0.0487, -0.0094, -0.0030]],\n",
      "\n",
      "         [[-0.0026,  0.0055, -0.0551],\n",
      "          [-0.0643,  0.0289,  0.0490],\n",
      "          [-0.0475,  0.0161,  0.0663]],\n",
      "\n",
      "         [[ 0.0010,  0.0203,  0.0539],\n",
      "          [-0.0148, -0.0412, -0.0282],\n",
      "          [-0.0660,  0.0852, -0.0334]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-0.0456, -0.0211, -0.0246],\n",
      "          [ 0.0161, -0.0495, -0.0537],\n",
      "          [-0.0556,  0.0321, -0.0055]],\n",
      "\n",
      "         [[ 0.0362,  0.0739, -0.0361],\n",
      "          [ 0.0250,  0.0152, -0.0029],\n",
      "          [ 0.0027,  0.0213, -0.0207]],\n",
      "\n",
      "         [[-0.0056,  0.0464, -0.0095],\n",
      "          [ 0.0595,  0.0156, -0.0051],\n",
      "          [ 0.0104, -0.0231, -0.0257]]]])\n",
      "\n",
      "layer2.1.bn1.weight\n",
      "tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1.])\n",
      "\n",
      "layer2.1.bn1.bias\n",
      "tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0.])\n",
      "\n",
      "layer2.1.bn1.running_mean\n",
      "tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0.])\n",
      "\n",
      "layer2.1.bn1.running_var\n",
      "tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1.])\n",
      "\n",
      "layer2.1.bn1.num_batches_tracked\n",
      "tensor(0)\n",
      "\n",
      "layer2.1.conv2.weight\n",
      "tensor([[[[-5.3369e-02,  5.3774e-02,  2.9047e-02],\n",
      "          [-6.5960e-02, -2.8505e-02, -3.9753e-02],\n",
      "          [-5.1648e-02,  3.5680e-02, -2.2175e-02]],\n",
      "\n",
      "         [[ 3.4150e-03, -2.1668e-02,  7.3864e-03],\n",
      "          [ 9.3263e-03,  3.1693e-03, -1.2743e-02],\n",
      "          [-2.9853e-02,  4.8221e-02, -4.2648e-02]],\n",
      "\n",
      "         [[ 2.3808e-02,  1.1592e-02,  1.8045e-02],\n",
      "          [-3.8430e-02,  3.9269e-03,  6.1296e-02],\n",
      "          [ 5.2015e-02, -6.0866e-02, -5.2210e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-2.8773e-02,  7.8181e-03,  2.4251e-03],\n",
      "          [-3.2056e-02,  2.6582e-02, -6.0657e-02],\n",
      "          [-8.7563e-03, -1.7727e-02, -1.3284e-03]],\n",
      "\n",
      "         [[ 1.6283e-02,  2.0900e-02,  3.7888e-02],\n",
      "          [ 3.2471e-02,  6.5446e-02, -7.2920e-02],\n",
      "          [ 1.4993e-03,  5.4841e-02, -3.5547e-02]],\n",
      "\n",
      "         [[-1.5679e-02,  4.6245e-02,  2.3482e-02],\n",
      "          [-1.7136e-02,  6.5500e-02,  3.8725e-02],\n",
      "          [-3.9929e-02,  1.1266e-01, -5.1003e-02]]],\n",
      "\n",
      "\n",
      "        [[[-8.2732e-02,  4.8031e-02,  4.4630e-02],\n",
      "          [-3.1831e-03, -2.4041e-02,  4.7947e-02],\n",
      "          [-5.3923e-03,  1.0522e-01,  4.3143e-02]],\n",
      "\n",
      "         [[ 6.0672e-03, -3.0447e-02, -8.7820e-03],\n",
      "          [-8.4540e-02, -2.9316e-02,  2.3436e-02],\n",
      "          [-2.5506e-02, -1.9435e-02, -1.3504e-02]],\n",
      "\n",
      "         [[-1.7831e-02, -7.6659e-02, -6.1072e-02],\n",
      "          [-4.3494e-02,  2.1875e-02, -9.6708e-03],\n",
      "          [ 3.5903e-02,  3.4512e-03, -3.1408e-03]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-2.1362e-02,  7.0860e-03,  6.1858e-02],\n",
      "          [-4.8123e-02,  1.6663e-02,  8.6046e-03],\n",
      "          [ 5.5304e-04,  3.9220e-02,  3.2714e-02]],\n",
      "\n",
      "         [[ 3.9891e-02, -6.3616e-02, -8.6697e-03],\n",
      "          [ 1.1160e-02,  2.6598e-02, -2.5643e-02],\n",
      "          [-3.8816e-02, -9.9373e-03, -6.4309e-02]],\n",
      "\n",
      "         [[ 1.8906e-02, -1.3787e-03, -4.4668e-03],\n",
      "          [ 4.0520e-02, -3.8168e-02, -4.6665e-03],\n",
      "          [-6.8147e-02,  2.8836e-04, -8.8460e-03]]],\n",
      "\n",
      "\n",
      "        [[[-1.1250e-01, -8.1125e-02,  4.2570e-02],\n",
      "          [-4.0231e-02, -2.8924e-02,  3.1724e-02],\n",
      "          [ 4.8155e-02, -2.6341e-02, -2.6443e-03]],\n",
      "\n",
      "         [[-1.9844e-02,  1.4221e-02, -1.5156e-02],\n",
      "          [ 9.7697e-03, -4.4721e-02,  1.5204e-02],\n",
      "          [-1.2127e-01, -1.6495e-02, -1.9749e-02]],\n",
      "\n",
      "         [[ 3.2961e-02,  1.3712e-04,  2.5144e-02],\n",
      "          [ 1.4833e-02,  5.9908e-04, -5.2848e-02],\n",
      "          [-6.2229e-02,  4.6054e-02,  3.7518e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-6.7719e-04, -3.1152e-02, -2.1315e-02],\n",
      "          [-6.4422e-02,  1.2342e-01,  2.0427e-02],\n",
      "          [-1.4912e-02,  6.6882e-02,  6.4711e-02]],\n",
      "\n",
      "         [[-7.8088e-03,  3.0130e-02,  1.4746e-02],\n",
      "          [ 2.3437e-02,  4.0710e-02, -4.8376e-02],\n",
      "          [ 2.9502e-02, -1.5496e-02,  3.5815e-02]],\n",
      "\n",
      "         [[-1.9722e-03, -7.6837e-02, -5.2975e-02],\n",
      "          [ 3.4530e-03,  4.7310e-02, -1.5494e-02],\n",
      "          [ 2.5581e-02, -7.2266e-03, -6.2986e-02]]],\n",
      "\n",
      "\n",
      "        ...,\n",
      "\n",
      "\n",
      "        [[[-2.4445e-02, -5.7547e-03, -8.4619e-02],\n",
      "          [-1.8349e-02,  9.3544e-02, -5.1059e-02],\n",
      "          [-1.1164e-02,  4.3647e-02,  6.7402e-02]],\n",
      "\n",
      "         [[-3.3751e-02,  1.6125e-02, -4.5121e-02],\n",
      "          [-1.4691e-02,  1.1022e-02,  9.6488e-03],\n",
      "          [ 3.5340e-03,  6.4943e-02, -1.6396e-02]],\n",
      "\n",
      "         [[ 3.0599e-02, -1.3154e-02, -5.6353e-02],\n",
      "          [-3.2797e-03, -2.3385e-02, -5.5562e-02],\n",
      "          [-3.0750e-04,  4.2807e-02, -1.6842e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 5.4598e-03,  1.1048e-02, -5.1362e-03],\n",
      "          [ 2.7785e-02, -2.6906e-04, -5.6653e-02],\n",
      "          [-9.7580e-03, -5.0392e-03,  3.5420e-02]],\n",
      "\n",
      "         [[ 3.5191e-02,  7.8568e-02, -2.0916e-02],\n",
      "          [-1.7631e-02, -2.3243e-03,  8.5420e-03],\n",
      "          [-4.6498e-02,  2.9054e-02, -1.1465e-02]],\n",
      "\n",
      "         [[ 9.6776e-02,  5.8309e-02, -2.0217e-02],\n",
      "          [-4.5879e-03, -7.1744e-03,  8.0944e-02],\n",
      "          [-3.0487e-02,  5.0577e-02,  5.1408e-02]]],\n",
      "\n",
      "\n",
      "        [[[ 5.8876e-02,  2.1151e-02, -4.4611e-02],\n",
      "          [ 1.1006e-02,  5.4057e-02, -2.5394e-02],\n",
      "          [ 5.6885e-02, -9.6084e-03,  2.5956e-02]],\n",
      "\n",
      "         [[-6.7353e-02,  2.2475e-02, -1.0777e-02],\n",
      "          [-8.9588e-02, -1.0135e-02,  2.8484e-02],\n",
      "          [-2.3556e-02,  1.7873e-02,  5.5730e-02]],\n",
      "\n",
      "         [[-2.2893e-02, -2.0955e-02, -7.4537e-03],\n",
      "          [-6.8733e-02, -1.9116e-02,  3.9645e-03],\n",
      "          [ 3.0520e-02, -3.2251e-02, -6.6030e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-1.4126e-02,  1.6126e-02,  6.2329e-02],\n",
      "          [ 6.7254e-02, -2.2678e-03, -2.6684e-02],\n",
      "          [-2.1931e-02,  5.2464e-02, -4.3002e-02]],\n",
      "\n",
      "         [[-5.3505e-02,  1.9857e-02,  1.3569e-02],\n",
      "          [ 3.7095e-02, -4.2382e-02, -2.6243e-02],\n",
      "          [-1.2767e-02,  6.2793e-02,  5.8732e-02]],\n",
      "\n",
      "         [[-1.2059e-03,  1.5744e-02, -2.0503e-02],\n",
      "          [-4.6824e-02, -3.5355e-02,  1.8535e-02],\n",
      "          [-4.9921e-02, -2.7757e-02,  8.4171e-02]]],\n",
      "\n",
      "\n",
      "        [[[ 6.0657e-05, -1.7261e-02,  1.5775e-02],\n",
      "          [-7.5211e-02,  7.2215e-02,  6.0909e-02],\n",
      "          [ 2.2374e-02,  5.2526e-02, -1.1466e-02]],\n",
      "\n",
      "         [[ 2.9104e-02, -2.8101e-02, -4.4427e-02],\n",
      "          [-2.8897e-03,  1.5127e-02, -2.3559e-03],\n",
      "          [ 8.3413e-03, -1.9257e-02,  4.7899e-02]],\n",
      "\n",
      "         [[-1.9487e-02,  2.6714e-02,  1.8777e-02],\n",
      "          [-5.0802e-03,  1.8074e-02,  7.2768e-02],\n",
      "          [-5.3695e-03, -7.5917e-03, -3.5118e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-2.5733e-03,  1.0452e-02, -8.4028e-03],\n",
      "          [ 2.8044e-02,  9.3485e-02, -1.2234e-02],\n",
      "          [ 1.8309e-02,  1.6787e-02,  7.1074e-02]],\n",
      "\n",
      "         [[-1.4591e-03, -1.8899e-02,  1.0778e-03],\n",
      "          [-9.1033e-02,  4.9320e-02,  3.3608e-02],\n",
      "          [-4.3006e-03, -5.0382e-02,  4.5996e-02]],\n",
      "\n",
      "         [[ 2.4293e-02,  3.1552e-02,  3.2520e-02],\n",
      "          [-2.6657e-02, -4.8982e-02,  2.6585e-02],\n",
      "          [-7.8116e-02, -7.5975e-02, -3.0435e-02]]]])\n",
      "\n",
      "layer2.1.bn2.weight\n",
      "tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1.])\n",
      "\n",
      "layer2.1.bn2.bias\n",
      "tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0.])\n",
      "\n",
      "layer2.1.bn2.running_mean\n",
      "tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0.])\n",
      "\n",
      "layer2.1.bn2.running_var\n",
      "tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1.])\n",
      "\n",
      "layer2.1.bn2.num_batches_tracked\n",
      "tensor(0)\n",
      "\n",
      "layer3.0.conv1.weight\n",
      "tensor([[[[ 2.3170e-03,  5.0489e-02, -1.6621e-02],\n",
      "          [-2.4669e-02, -1.8946e-02,  2.2621e-02],\n",
      "          [ 2.4443e-02,  1.3217e-02, -3.5147e-02]],\n",
      "\n",
      "         [[-1.7856e-02,  2.1746e-03,  8.0854e-03],\n",
      "          [-1.5320e-02,  1.4570e-03, -1.2094e-02],\n",
      "          [ 6.3302e-03, -3.6471e-02, -7.4385e-02]],\n",
      "\n",
      "         [[-4.1038e-02,  1.5110e-03,  4.5097e-02],\n",
      "          [ 6.2401e-03,  1.6060e-02,  6.4844e-03],\n",
      "          [ 3.7862e-02,  2.8461e-02, -4.2911e-03]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 3.8022e-02, -2.6650e-02,  2.2398e-02],\n",
      "          [ 3.8241e-02, -1.5088e-02, -2.5561e-02],\n",
      "          [ 2.4244e-02, -5.7191e-02, -2.2327e-02]],\n",
      "\n",
      "         [[ 4.4495e-02, -2.1751e-02,  3.4250e-02],\n",
      "          [-7.3372e-03,  5.0802e-02,  1.4834e-02],\n",
      "          [-1.9051e-02,  6.1084e-03,  1.2787e-02]],\n",
      "\n",
      "         [[ 8.4010e-03,  2.6894e-02,  2.8987e-02],\n",
      "          [ 1.5181e-02,  5.5249e-04, -3.0381e-02],\n",
      "          [-2.3943e-02,  2.5320e-02,  4.9843e-02]]],\n",
      "\n",
      "\n",
      "        [[[ 2.8821e-02, -2.3630e-02,  2.9413e-02],\n",
      "          [-3.5286e-02,  3.7413e-02,  4.7621e-04],\n",
      "          [-1.6373e-02,  2.0306e-02, -2.5298e-02]],\n",
      "\n",
      "         [[-2.3420e-02, -1.9993e-02, -7.6505e-02],\n",
      "          [ 1.6825e-02,  1.7074e-03, -2.9432e-02],\n",
      "          [-3.5628e-02,  3.0532e-02, -5.4101e-02]],\n",
      "\n",
      "         [[-1.7443e-02,  3.7116e-02, -3.2837e-02],\n",
      "          [-1.1257e-02, -8.5747e-02,  9.5270e-05],\n",
      "          [-2.7571e-02, -9.5368e-03, -4.1512e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-1.4752e-02,  2.6568e-02, -2.0358e-03],\n",
      "          [ 4.0522e-03, -5.5079e-02,  3.5289e-02],\n",
      "          [-3.0458e-02,  3.0609e-03, -3.2765e-02]],\n",
      "\n",
      "         [[-2.7218e-02,  2.1848e-02, -2.6930e-02],\n",
      "          [ 3.6953e-02, -1.8626e-02, -4.3816e-02],\n",
      "          [-1.7986e-02,  2.1661e-03, -3.9031e-02]],\n",
      "\n",
      "         [[-5.7852e-02,  6.2758e-03,  2.8096e-02],\n",
      "          [ 8.9281e-03, -1.6087e-02, -9.3252e-03],\n",
      "          [ 2.6348e-02, -7.0220e-04,  9.2014e-03]]],\n",
      "\n",
      "\n",
      "        [[[ 7.0387e-02,  1.3974e-02,  3.0236e-03],\n",
      "          [ 1.2309e-02, -1.3897e-02, -3.1924e-02],\n",
      "          [-3.2601e-02,  2.8556e-02, -3.2833e-02]],\n",
      "\n",
      "         [[ 2.7164e-02, -2.4573e-02,  7.5392e-03],\n",
      "          [-2.9390e-02,  3.0793e-02, -1.0513e-04],\n",
      "          [-1.6521e-02, -5.0176e-02, -2.1417e-02]],\n",
      "\n",
      "         [[-2.7331e-02,  6.2676e-02, -5.2105e-02],\n",
      "          [ 9.4580e-03,  5.6088e-02,  2.1670e-02],\n",
      "          [ 2.5756e-02,  3.7647e-02, -2.5193e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-5.1723e-02, -2.3229e-03,  4.6697e-02],\n",
      "          [ 5.1668e-02,  4.6628e-02,  1.8740e-04],\n",
      "          [ 2.7767e-02,  6.2030e-03, -1.0154e-02]],\n",
      "\n",
      "         [[ 3.8444e-02,  1.6929e-02, -2.9241e-02],\n",
      "          [ 2.3538e-02,  3.0946e-02,  2.4492e-02],\n",
      "          [ 5.1595e-02,  4.5559e-03,  1.4566e-02]],\n",
      "\n",
      "         [[-1.6787e-02,  2.7731e-02,  8.3298e-03],\n",
      "          [-3.3956e-02,  6.3722e-02,  1.1548e-02],\n",
      "          [ 1.7365e-02,  4.1290e-03,  3.9851e-02]]],\n",
      "\n",
      "\n",
      "        ...,\n",
      "\n",
      "\n",
      "        [[[-1.4135e-02,  2.3771e-02, -2.6596e-02],\n",
      "          [ 5.2788e-04,  7.4040e-03, -6.6495e-02],\n",
      "          [-1.6159e-02, -7.8180e-03,  2.0390e-02]],\n",
      "\n",
      "         [[-2.5195e-02, -2.2968e-02, -1.1851e-02],\n",
      "          [ 1.3227e-02, -4.5600e-02,  1.1245e-02],\n",
      "          [ 2.6142e-02,  4.0162e-02,  2.4367e-02]],\n",
      "\n",
      "         [[-4.9716e-02, -1.7022e-02,  2.7426e-02],\n",
      "          [-3.9027e-02, -1.9068e-02,  1.7785e-02],\n",
      "          [ 2.8288e-03,  1.1011e-02,  3.1261e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-3.1996e-02, -1.9964e-02,  4.5200e-03],\n",
      "          [ 1.1879e-02,  4.3576e-02,  1.5856e-02],\n",
      "          [ 1.7753e-02,  4.6545e-02,  5.2590e-02]],\n",
      "\n",
      "         [[ 4.3883e-03,  2.6720e-02,  5.6029e-02],\n",
      "          [-9.4113e-03, -8.3847e-03, -4.7868e-03],\n",
      "          [ 2.3003e-02, -2.9099e-02, -4.9164e-04]],\n",
      "\n",
      "         [[ 1.2483e-02, -3.3446e-02,  4.4035e-02],\n",
      "          [ 1.3035e-02,  6.0958e-03,  5.3655e-02],\n",
      "          [ 4.6135e-02, -1.4245e-02, -3.4357e-02]]],\n",
      "\n",
      "\n",
      "        [[[-3.0526e-02, -1.1102e-02,  2.1907e-02],\n",
      "          [-4.4897e-02, -3.4800e-03, -1.4666e-02],\n",
      "          [-1.1825e-02, -2.6111e-02, -2.0997e-02]],\n",
      "\n",
      "         [[ 3.8186e-02,  3.7355e-03, -5.3765e-02],\n",
      "          [ 5.0791e-02,  3.7804e-02,  6.1951e-02],\n",
      "          [ 1.0718e-02,  4.1907e-02, -1.7367e-02]],\n",
      "\n",
      "         [[-1.0810e-02,  1.3325e-02,  7.6237e-03],\n",
      "          [ 6.1296e-02,  1.0537e-02, -3.2456e-02],\n",
      "          [ 5.6423e-02, -3.7692e-02,  4.1250e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 4.4156e-02,  2.3495e-02,  7.7477e-02],\n",
      "          [-4.9271e-02,  1.9036e-02, -1.3521e-03],\n",
      "          [ 3.2835e-02,  1.1573e-02,  4.6382e-02]],\n",
      "\n",
      "         [[ 2.1283e-02,  1.8776e-02,  4.0291e-03],\n",
      "          [-2.2019e-02, -1.9699e-02, -6.6569e-03],\n",
      "          [-9.8589e-03, -3.7832e-02, -6.6890e-02]],\n",
      "\n",
      "         [[ 3.1567e-03, -1.6470e-02, -2.8228e-02],\n",
      "          [ 3.3310e-02, -1.3770e-02, -9.9546e-03],\n",
      "          [-3.9213e-03,  4.4078e-02, -5.6799e-03]]],\n",
      "\n",
      "\n",
      "        [[[ 4.8228e-02, -7.3564e-02, -9.8934e-03],\n",
      "          [-3.1805e-02,  5.6122e-03,  2.2606e-02],\n",
      "          [ 3.3452e-03,  3.2767e-02,  5.2068e-02]],\n",
      "\n",
      "         [[-1.9374e-02, -6.0543e-02, -1.4469e-02],\n",
      "          [-2.5121e-02, -3.4157e-02, -3.1175e-02],\n",
      "          [-3.1049e-02, -2.4477e-02, -3.9524e-03]],\n",
      "\n",
      "         [[ 1.3475e-02, -6.9812e-02,  1.7119e-03],\n",
      "          [ 2.8002e-02,  4.3068e-03,  4.9049e-03],\n",
      "          [ 4.1653e-02,  6.5599e-02,  6.1401e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 1.1981e-02, -3.3850e-02,  5.1333e-03],\n",
      "          [ 1.5226e-02,  1.6833e-02, -2.1965e-03],\n",
      "          [ 8.1317e-03, -5.7981e-02,  3.2433e-02]],\n",
      "\n",
      "         [[ 5.3050e-02,  3.6141e-02,  5.5144e-03],\n",
      "          [ 2.0090e-02, -8.2282e-02, -2.4238e-03],\n",
      "          [ 2.6624e-02, -1.2772e-02,  4.2279e-03]],\n",
      "\n",
      "         [[-7.8928e-03,  2.9000e-03,  2.1622e-02],\n",
      "          [-4.0865e-03,  3.5319e-02,  1.1289e-02],\n",
      "          [-1.4163e-02, -1.4623e-02, -1.0208e-02]]]])\n",
      "\n",
      "layer3.0.bn1.weight\n",
      "tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1.])\n",
      "\n",
      "layer3.0.bn1.bias\n",
      "tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.])\n",
      "\n",
      "layer3.0.bn1.running_mean\n",
      "tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.])\n",
      "\n",
      "layer3.0.bn1.running_var\n",
      "tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1.])\n",
      "\n",
      "layer3.0.bn1.num_batches_tracked\n",
      "tensor(0)\n",
      "\n",
      "layer3.0.conv2.weight\n",
      "tensor([[[[ 1.9095e-02,  3.9275e-02, -5.5123e-03],\n",
      "          [-3.0920e-03,  2.5385e-02,  6.2891e-02],\n",
      "          [-6.3420e-03,  3.0795e-02,  1.9030e-02]],\n",
      "\n",
      "         [[-3.8196e-02,  2.3164e-02, -5.4936e-03],\n",
      "          [ 1.9755e-02, -2.5208e-02,  5.7586e-03],\n",
      "          [-4.3787e-02,  1.7880e-03, -2.1545e-03]],\n",
      "\n",
      "         [[-2.7449e-02, -3.3719e-02, -1.7570e-03],\n",
      "          [-9.4611e-03,  1.2753e-02,  6.7767e-03],\n",
      "          [ 2.1813e-02, -2.0857e-02, -8.1448e-03]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 2.0593e-02, -2.4032e-02, -2.3658e-02],\n",
      "          [ 2.2288e-02,  6.9641e-02, -3.6527e-02],\n",
      "          [-7.0146e-04, -5.5486e-03,  4.2513e-02]],\n",
      "\n",
      "         [[ 3.4828e-02,  2.8433e-02,  3.6989e-02],\n",
      "          [-5.4034e-03,  3.4148e-02, -3.4904e-02],\n",
      "          [ 2.7065e-02,  3.0514e-02,  3.6436e-03]],\n",
      "\n",
      "         [[ 8.7366e-03,  1.9310e-02, -1.1436e-02],\n",
      "          [ 4.9223e-02,  6.0284e-02, -1.2399e-02],\n",
      "          [-1.2656e-02,  1.3487e-02,  2.6499e-02]]],\n",
      "\n",
      "\n",
      "        [[[ 1.3114e-02, -7.4959e-03,  2.7891e-02],\n",
      "          [ 2.1329e-03, -3.7078e-02,  1.6283e-03],\n",
      "          [ 4.5753e-03, -3.0982e-02, -2.6347e-02]],\n",
      "\n",
      "         [[-2.5302e-02, -2.9028e-02, -2.1303e-02],\n",
      "          [-1.8869e-02,  7.4385e-02,  6.2644e-03],\n",
      "          [ 2.6675e-03,  2.3140e-02, -1.4910e-02]],\n",
      "\n",
      "         [[ 5.1943e-03, -1.8218e-02, -1.7515e-02],\n",
      "          [ 1.1937e-02,  1.9486e-02,  2.5718e-02],\n",
      "          [-2.6807e-02, -3.6060e-02,  4.4883e-03]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-3.4980e-02, -1.3824e-02,  4.6475e-03],\n",
      "          [ 1.7464e-02,  1.1494e-02, -6.1714e-02],\n",
      "          [-9.0195e-03,  3.8459e-02,  1.1408e-02]],\n",
      "\n",
      "         [[ 1.5843e-02,  1.4758e-03,  7.1703e-02],\n",
      "          [ 2.0404e-02,  1.8360e-02,  2.3134e-02],\n",
      "          [-2.3460e-02, -3.7476e-03, -7.1731e-03]],\n",
      "\n",
      "         [[ 3.7962e-02,  1.5368e-02,  1.6477e-03],\n",
      "          [-1.1731e-02, -3.3083e-02, -1.7905e-02],\n",
      "          [-2.6550e-02, -2.0771e-02,  1.1170e-02]]],\n",
      "\n",
      "\n",
      "        [[[ 4.6910e-02, -1.4715e-02,  4.6258e-02],\n",
      "          [ 6.1089e-02, -4.1256e-02, -1.2246e-02],\n",
      "          [-4.3082e-03,  2.5239e-02, -2.8867e-02]],\n",
      "\n",
      "         [[-3.8257e-03, -6.1407e-03, -2.6118e-02],\n",
      "          [-1.1488e-03,  1.4718e-02, -2.1187e-02],\n",
      "          [ 9.8355e-03,  2.4370e-02,  1.9150e-02]],\n",
      "\n",
      "         [[ 8.3221e-02,  1.3961e-02, -3.4290e-02],\n",
      "          [-7.1529e-02, -9.4402e-02,  1.1647e-01],\n",
      "          [-2.2724e-03,  3.1728e-03, -5.8031e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-1.9751e-02, -2.9515e-02, -4.9018e-03],\n",
      "          [ 6.4364e-02, -2.2017e-02, -2.0340e-02],\n",
      "          [-9.9722e-03,  2.6700e-02,  2.7364e-02]],\n",
      "\n",
      "         [[ 1.2865e-02,  4.8511e-02,  2.2712e-02],\n",
      "          [ 3.0160e-02, -1.0397e-02,  9.1598e-03],\n",
      "          [-2.6702e-02, -2.0070e-02, -2.0395e-02]],\n",
      "\n",
      "         [[ 4.0943e-02, -2.9456e-02, -6.4655e-02],\n",
      "          [ 3.2359e-02, -9.9564e-03,  1.7078e-02],\n",
      "          [ 3.1509e-02, -4.3463e-03,  3.1933e-02]]],\n",
      "\n",
      "\n",
      "        ...,\n",
      "\n",
      "\n",
      "        [[[-1.3487e-02,  2.9230e-02, -1.5335e-02],\n",
      "          [ 5.2755e-03,  1.4145e-02,  4.9773e-02],\n",
      "          [-6.0625e-02, -6.6897e-04, -4.7249e-02]],\n",
      "\n",
      "         [[ 2.4374e-02,  3.9771e-02, -3.6133e-02],\n",
      "          [-4.8583e-03,  6.2706e-02, -9.6436e-03],\n",
      "          [-4.0867e-02, -7.1006e-02,  7.1754e-03]],\n",
      "\n",
      "         [[-1.5729e-03,  4.9589e-02, -1.6266e-02],\n",
      "          [-1.9559e-02, -3.9594e-04,  2.3518e-02],\n",
      "          [-4.8451e-02, -1.2880e-02, -3.3099e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-2.0904e-02, -1.2168e-03,  2.1799e-02],\n",
      "          [ 2.7523e-02,  5.2709e-02,  1.1757e-02],\n",
      "          [ 9.3149e-03,  7.9841e-02,  7.3922e-03]],\n",
      "\n",
      "         [[-4.2410e-02,  1.2326e-02,  3.2486e-03],\n",
      "          [ 7.8884e-04, -4.7390e-03,  4.5473e-02],\n",
      "          [ 3.9868e-02, -3.1166e-02, -2.6116e-02]],\n",
      "\n",
      "         [[ 5.9507e-02, -2.3809e-02, -1.9041e-02],\n",
      "          [ 1.2359e-02,  2.5837e-02, -1.4962e-03],\n",
      "          [ 4.3207e-02, -9.0660e-02, -4.4252e-03]]],\n",
      "\n",
      "\n",
      "        [[[ 4.9616e-02,  7.0997e-03,  8.1800e-04],\n",
      "          [ 3.5864e-02,  2.4130e-02, -2.4894e-03],\n",
      "          [-8.0807e-05, -1.4771e-02,  1.5166e-02]],\n",
      "\n",
      "         [[ 3.1145e-02, -3.4236e-02,  2.0424e-02],\n",
      "          [-1.1835e-02,  1.5018e-03, -9.3080e-03],\n",
      "          [-4.7384e-02, -4.7471e-02, -4.9439e-02]],\n",
      "\n",
      "         [[ 9.7762e-03,  2.7773e-02,  1.9151e-03],\n",
      "          [ 1.1534e-02,  4.1282e-02,  3.3564e-02],\n",
      "          [-1.6223e-02, -3.2435e-02,  7.6503e-03]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-3.5099e-03,  7.4108e-03, -2.8772e-02],\n",
      "          [-7.4359e-03, -5.0815e-02, -6.5038e-02],\n",
      "          [-2.8227e-02, -1.3080e-02,  3.6280e-02]],\n",
      "\n",
      "         [[ 2.1717e-02, -7.1062e-03,  1.8230e-02],\n",
      "          [ 1.7152e-02, -1.5289e-02,  4.5989e-02],\n",
      "          [-4.2766e-02,  4.3598e-02, -9.5762e-03]],\n",
      "\n",
      "         [[ 3.4218e-02, -8.1221e-03, -4.3289e-03],\n",
      "          [ 5.6472e-03,  1.8930e-02,  2.3374e-02],\n",
      "          [-1.1886e-03, -1.2649e-02,  5.4079e-03]]],\n",
      "\n",
      "\n",
      "        [[[-2.5804e-03, -2.8970e-02, -8.2645e-03],\n",
      "          [ 2.4516e-02,  1.5634e-02,  2.0717e-02],\n",
      "          [-8.7752e-03,  4.5692e-02, -4.1890e-02]],\n",
      "\n",
      "         [[ 3.5734e-02,  5.6714e-02,  2.2111e-02],\n",
      "          [-1.6457e-02,  7.4725e-05, -1.9292e-02],\n",
      "          [ 2.6054e-02, -3.0126e-02,  5.4011e-02]],\n",
      "\n",
      "         [[ 5.8952e-02,  2.2212e-03,  2.8599e-03],\n",
      "          [ 4.1920e-02, -3.9357e-03, -1.8197e-02],\n",
      "          [-4.9861e-02,  1.9078e-02, -3.2838e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-1.8590e-02, -4.3003e-02, -2.4977e-02],\n",
      "          [ 5.1922e-04,  4.1702e-03, -3.3515e-02],\n",
      "          [ 2.1836e-03,  2.5006e-02, -3.6245e-02]],\n",
      "\n",
      "         [[ 9.7207e-03, -3.6504e-02,  1.9607e-02],\n",
      "          [-1.5322e-02,  1.4299e-03, -2.1140e-02],\n",
      "          [-8.8261e-03,  2.6331e-02,  5.5746e-02]],\n",
      "\n",
      "         [[-6.9021e-03,  5.3680e-02,  1.1651e-02],\n",
      "          [-2.5891e-02, -1.3694e-02, -1.5194e-02],\n",
      "          [ 5.3450e-03, -5.5498e-02,  7.0012e-03]]]])\n",
      "\n",
      "layer3.0.bn2.weight\n",
      "tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1.])\n",
      "\n",
      "layer3.0.bn2.bias\n",
      "tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.])\n",
      "\n",
      "layer3.0.bn2.running_mean\n",
      "tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.])\n",
      "\n",
      "layer3.0.bn2.running_var\n",
      "tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1.])\n",
      "\n",
      "layer3.0.bn2.num_batches_tracked\n",
      "tensor(0)\n",
      "\n",
      "layer3.0.downsample.0.weight\n",
      "tensor([[[[-0.0015]],\n",
      "\n",
      "         [[-0.0731]],\n",
      "\n",
      "         [[ 0.0061]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-0.0350]],\n",
      "\n",
      "         [[ 0.0380]],\n",
      "\n",
      "         [[ 0.1048]]],\n",
      "\n",
      "\n",
      "        [[[-0.0068]],\n",
      "\n",
      "         [[ 0.0246]],\n",
      "\n",
      "         [[ 0.1014]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-0.0517]],\n",
      "\n",
      "         [[ 0.0075]],\n",
      "\n",
      "         [[ 0.0423]]],\n",
      "\n",
      "\n",
      "        [[[ 0.0971]],\n",
      "\n",
      "         [[-0.1796]],\n",
      "\n",
      "         [[-0.0430]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 0.1057]],\n",
      "\n",
      "         [[-0.1013]],\n",
      "\n",
      "         [[-0.0443]]],\n",
      "\n",
      "\n",
      "        ...,\n",
      "\n",
      "\n",
      "        [[[ 0.1181]],\n",
      "\n",
      "         [[-0.0204]],\n",
      "\n",
      "         [[-0.0753]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 0.0374]],\n",
      "\n",
      "         [[-0.0118]],\n",
      "\n",
      "         [[-0.0511]]],\n",
      "\n",
      "\n",
      "        [[[ 0.0210]],\n",
      "\n",
      "         [[-0.1874]],\n",
      "\n",
      "         [[ 0.1188]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 0.0452]],\n",
      "\n",
      "         [[-0.0083]],\n",
      "\n",
      "         [[-0.0282]]],\n",
      "\n",
      "\n",
      "        [[[-0.0334]],\n",
      "\n",
      "         [[-0.0119]],\n",
      "\n",
      "         [[-0.0978]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 0.0149]],\n",
      "\n",
      "         [[ 0.0849]],\n",
      "\n",
      "         [[-0.0338]]]])\n",
      "\n",
      "layer3.0.downsample.1.weight\n",
      "tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1.])\n",
      "\n",
      "layer3.0.downsample.1.bias\n",
      "tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.])\n",
      "\n",
      "layer3.0.downsample.1.running_mean\n",
      "tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.])\n",
      "\n",
      "layer3.0.downsample.1.running_var\n",
      "tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1.])\n",
      "\n",
      "layer3.0.downsample.1.num_batches_tracked\n",
      "tensor(0)\n",
      "\n",
      "layer3.1.conv1.weight\n",
      "tensor([[[[ 5.8375e-02, -3.2769e-03, -1.4086e-02],\n",
      "          [-2.1956e-02,  2.8285e-02, -1.0832e-02],\n",
      "          [-5.0995e-02, -4.7076e-02, -1.2069e-02]],\n",
      "\n",
      "         [[ 4.0027e-02,  5.7241e-03,  2.7973e-02],\n",
      "          [ 1.1055e-02,  3.1077e-02,  3.1889e-02],\n",
      "          [-2.2713e-02,  1.7301e-02,  1.5143e-03]],\n",
      "\n",
      "         [[-1.3037e-03, -2.6743e-02,  3.4613e-02],\n",
      "          [ 1.7906e-02,  2.3894e-02, -1.2821e-02],\n",
      "          [ 1.1300e-02, -1.6598e-02,  3.1126e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 6.8288e-02, -3.0309e-02, -2.2975e-02],\n",
      "          [ 1.8880e-02,  3.0438e-02,  3.0597e-02],\n",
      "          [-1.1463e-02,  2.1089e-03, -4.7253e-02]],\n",
      "\n",
      "         [[ 1.9986e-02, -1.3588e-02, -2.1019e-02],\n",
      "          [ 1.1610e-02, -1.8629e-02, -1.3565e-02],\n",
      "          [ 1.4995e-02,  2.1155e-02,  2.1354e-02]],\n",
      "\n",
      "         [[ 6.1092e-03,  2.2646e-02,  2.0447e-02],\n",
      "          [-1.5288e-02, -2.9780e-02, -6.1171e-03],\n",
      "          [-1.4888e-02, -5.0574e-02,  2.6277e-02]]],\n",
      "\n",
      "\n",
      "        [[[ 6.8425e-02, -6.9145e-02, -2.2355e-02],\n",
      "          [-1.9127e-02,  3.6598e-02, -3.6620e-03],\n",
      "          [ 2.6583e-03,  6.1870e-02, -2.8557e-02]],\n",
      "\n",
      "         [[-3.6343e-02, -1.2379e-03, -3.2268e-02],\n",
      "          [-2.1801e-02,  1.4060e-02,  5.8345e-03],\n",
      "          [ 1.3343e-02, -7.2843e-03, -7.6685e-04]],\n",
      "\n",
      "         [[ 5.3631e-03, -1.1721e-02, -2.8954e-02],\n",
      "          [ 9.3781e-03,  1.4474e-02,  1.2570e-02],\n",
      "          [ 6.4873e-04, -1.6627e-02, -5.0911e-03]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 3.1857e-03,  1.4144e-02, -9.8061e-03],\n",
      "          [-6.3946e-02, -3.0239e-02, -3.3115e-02],\n",
      "          [ 2.6009e-02, -1.2646e-02, -2.7925e-03]],\n",
      "\n",
      "         [[ 1.2330e-02, -2.0902e-02, -3.0876e-02],\n",
      "          [ 4.5281e-02, -4.2779e-03, -4.7315e-02],\n",
      "          [ 1.2466e-02,  2.1058e-02,  1.5604e-02]],\n",
      "\n",
      "         [[-2.0669e-02,  3.5707e-02, -4.6482e-04],\n",
      "          [-5.8269e-03,  6.0327e-02, -4.0677e-02],\n",
      "          [-1.2326e-02,  1.7911e-03,  1.0176e-03]]],\n",
      "\n",
      "\n",
      "        [[[ 5.3021e-03,  4.6529e-02, -1.0736e-02],\n",
      "          [ 3.7467e-03, -1.5676e-02, -2.3117e-02],\n",
      "          [-1.8141e-02, -4.5450e-02,  1.3146e-02]],\n",
      "\n",
      "         [[-2.6287e-02, -9.1458e-03, -6.0450e-02],\n",
      "          [-2.7435e-02, -4.0586e-03, -2.1125e-02],\n",
      "          [ 1.2389e-02,  7.8332e-03, -2.2977e-02]],\n",
      "\n",
      "         [[ 2.1879e-03, -1.9888e-02,  1.1270e-02],\n",
      "          [ 2.0089e-02, -1.7638e-02,  2.0872e-02],\n",
      "          [-1.9178e-02,  4.5567e-03,  1.0387e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 1.7285e-02, -5.8478e-03, -2.2522e-02],\n",
      "          [ 3.5330e-02, -3.4217e-02, -2.0212e-02],\n",
      "          [-2.2538e-03,  4.8707e-02, -5.2998e-03]],\n",
      "\n",
      "         [[ 2.2998e-02, -3.2041e-02, -1.9297e-02],\n",
      "          [ 2.0751e-02, -7.8689e-03,  5.0681e-02],\n",
      "          [ 1.8351e-03,  5.9899e-03,  3.7762e-03]],\n",
      "\n",
      "         [[ 5.1778e-02, -5.6301e-02,  2.1344e-02],\n",
      "          [-3.1856e-02,  3.9477e-02, -6.5090e-02],\n",
      "          [-4.3005e-02, -1.7939e-02,  7.8148e-03]]],\n",
      "\n",
      "\n",
      "        ...,\n",
      "\n",
      "\n",
      "        [[[-2.6085e-02, -4.1301e-02, -3.1392e-02],\n",
      "          [-3.1673e-02,  4.1975e-02, -7.8189e-03],\n",
      "          [ 1.6435e-02,  1.0181e-02,  3.7011e-02]],\n",
      "\n",
      "         [[-1.1325e-02,  7.4838e-02, -4.2448e-02],\n",
      "          [-1.0636e-02, -2.7305e-02,  1.2920e-02],\n",
      "          [-8.8580e-04,  2.7494e-02, -5.5076e-02]],\n",
      "\n",
      "         [[ 1.8349e-02, -5.1491e-02, -4.2858e-03],\n",
      "          [ 1.0918e-02,  6.2454e-03, -1.4796e-02],\n",
      "          [-1.5557e-02, -1.3102e-02,  2.5143e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-1.5194e-02,  2.1157e-02, -2.2010e-02],\n",
      "          [ 5.4348e-02,  3.4909e-02,  4.8576e-02],\n",
      "          [ 2.2875e-03,  5.4443e-02,  6.3403e-02]],\n",
      "\n",
      "         [[-5.4169e-02,  3.7884e-02, -1.8813e-02],\n",
      "          [-2.6129e-02,  7.6732e-03,  2.8306e-02],\n",
      "          [-3.6850e-02,  5.5018e-02, -3.3266e-02]],\n",
      "\n",
      "         [[-3.5075e-02, -1.0648e-02, -2.4222e-02],\n",
      "          [ 2.2116e-02,  5.0227e-03, -5.7445e-05],\n",
      "          [-2.8889e-02,  8.7213e-03,  1.7211e-02]]],\n",
      "\n",
      "\n",
      "        [[[-1.9624e-02,  1.2376e-02,  4.8607e-03],\n",
      "          [ 2.0028e-02,  3.4916e-03,  3.8534e-02],\n",
      "          [-2.2276e-02,  5.3615e-03,  6.9275e-02]],\n",
      "\n",
      "         [[-2.9005e-02, -5.0856e-02, -5.5715e-04],\n",
      "          [ 4.3375e-02,  2.2441e-02,  2.2443e-02],\n",
      "          [ 4.0711e-02, -2.2738e-02,  3.0067e-02]],\n",
      "\n",
      "         [[ 2.2477e-02, -2.7588e-02, -7.9910e-03],\n",
      "          [-2.8365e-02,  3.6172e-03,  2.0884e-02],\n",
      "          [ 4.4393e-02, -2.3444e-02, -1.8460e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 4.4429e-03, -4.0255e-03, -3.0699e-02],\n",
      "          [ 3.1338e-02,  3.8956e-02, -4.2439e-02],\n",
      "          [ 1.2350e-02,  2.1859e-03,  1.4712e-02]],\n",
      "\n",
      "         [[-1.1037e-02,  1.6407e-02, -5.0725e-02],\n",
      "          [-7.1800e-03,  1.1387e-02, -8.9600e-03],\n",
      "          [-7.4666e-02,  1.0973e-02, -3.5274e-02]],\n",
      "\n",
      "         [[-4.6492e-03,  7.2550e-03,  2.4125e-04],\n",
      "          [ 8.8508e-03, -1.8362e-02,  2.7350e-02],\n",
      "          [-2.8044e-02, -3.1422e-02, -2.1220e-02]]],\n",
      "\n",
      "\n",
      "        [[[-2.0085e-02, -1.1745e-02,  8.3137e-03],\n",
      "          [-2.7816e-02,  1.1942e-02, -5.7991e-02],\n",
      "          [-3.2877e-02,  2.3145e-03,  8.2658e-02]],\n",
      "\n",
      "         [[ 4.7716e-02, -2.5077e-02, -3.6891e-02],\n",
      "          [-2.6569e-02, -1.5040e-02,  1.1665e-02],\n",
      "          [ 1.2107e-02,  2.2822e-02,  2.8177e-02]],\n",
      "\n",
      "         [[-2.2117e-03,  8.9865e-03,  1.8791e-02],\n",
      "          [-2.4527e-02, -5.6148e-03, -8.5257e-03],\n",
      "          [-1.2107e-02,  1.3370e-02,  2.4684e-03]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-5.3950e-02,  3.3791e-03,  9.1387e-03],\n",
      "          [-3.0684e-03,  1.8611e-02, -2.3102e-04],\n",
      "          [ 6.0646e-03, -1.7291e-02,  3.3746e-02]],\n",
      "\n",
      "         [[-1.2213e-02,  8.1155e-03, -2.1482e-02],\n",
      "          [-5.1813e-03,  6.4755e-03,  1.3679e-02],\n",
      "          [-2.5144e-02,  1.5573e-02,  4.1848e-02]],\n",
      "\n",
      "         [[ 2.3116e-03,  3.3346e-02, -3.2978e-02],\n",
      "          [-1.1308e-02,  1.0672e-02,  2.3933e-02],\n",
      "          [ 2.9705e-02, -2.3310e-02,  1.3080e-02]]]])\n",
      "\n",
      "layer3.1.bn1.weight\n",
      "tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1.])\n",
      "\n",
      "layer3.1.bn1.bias\n",
      "tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.])\n",
      "\n",
      "layer3.1.bn1.running_mean\n",
      "tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.])\n",
      "\n",
      "layer3.1.bn1.running_var\n",
      "tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1.])\n",
      "\n",
      "layer3.1.bn1.num_batches_tracked\n",
      "tensor(0)\n",
      "\n",
      "layer3.1.conv2.weight\n",
      "tensor([[[[ 8.9100e-02, -5.4107e-02,  3.6800e-02],\n",
      "          [ 9.9118e-03, -1.0855e-02, -1.7410e-02],\n",
      "          [ 3.9107e-02,  2.4453e-02,  1.7594e-02]],\n",
      "\n",
      "         [[ 5.4950e-02, -6.2843e-02, -3.2897e-02],\n",
      "          [-3.1995e-02, -4.8522e-03,  1.6143e-02],\n",
      "          [ 2.4811e-03,  1.6361e-02, -6.2045e-02]],\n",
      "\n",
      "         [[-2.7205e-02, -1.6981e-02,  4.2695e-02],\n",
      "          [-1.6059e-02,  6.4243e-02, -5.4096e-03],\n",
      "          [ 6.6688e-03,  5.0818e-04, -1.8205e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-9.7344e-03,  3.9125e-02,  5.5458e-03],\n",
      "          [-1.0618e-02, -9.5672e-03, -1.8446e-02],\n",
      "          [-2.0146e-02, -2.6105e-02,  6.6656e-03]],\n",
      "\n",
      "         [[-4.6408e-02,  3.3706e-02,  3.3544e-02],\n",
      "          [-5.3866e-02,  1.3367e-02,  9.0519e-03],\n",
      "          [ 6.7492e-04, -1.6283e-02,  1.6540e-02]],\n",
      "\n",
      "         [[-7.7016e-03, -5.6835e-03, -1.6459e-03],\n",
      "          [-2.7149e-02,  1.4918e-02, -3.5145e-02],\n",
      "          [ 2.3101e-02, -8.1692e-03,  4.6011e-03]]],\n",
      "\n",
      "\n",
      "        [[[-1.9381e-02,  6.1440e-03, -1.7788e-02],\n",
      "          [ 2.4367e-02,  2.2359e-02, -1.3934e-02],\n",
      "          [ 3.4119e-02, -3.1775e-02,  1.6127e-02]],\n",
      "\n",
      "         [[-3.7529e-03,  2.7187e-02, -1.1402e-02],\n",
      "          [ 1.3340e-02,  2.2394e-03,  5.4107e-02],\n",
      "          [-4.9484e-03, -1.2101e-02,  1.9013e-02]],\n",
      "\n",
      "         [[-1.8566e-03,  2.5680e-02, -1.4204e-02],\n",
      "          [-3.6258e-02, -3.1662e-02,  5.9052e-02],\n",
      "          [ 1.5312e-02,  5.1711e-02,  8.7612e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-2.2626e-04, -4.4321e-02, -1.4697e-02],\n",
      "          [-5.1923e-02,  2.1784e-02,  3.1349e-02],\n",
      "          [ 1.7656e-02,  4.3475e-02, -2.9701e-02]],\n",
      "\n",
      "         [[ 2.0860e-02,  3.0692e-02,  9.6256e-04],\n",
      "          [ 1.1305e-02,  4.4418e-03,  2.0745e-02],\n",
      "          [-1.6602e-02,  3.3027e-03, -1.2672e-02]],\n",
      "\n",
      "         [[ 6.2984e-03,  5.9740e-02, -3.0839e-02],\n",
      "          [-2.9004e-04, -1.2599e-02, -2.5030e-02],\n",
      "          [ 1.5183e-02, -1.2941e-02,  8.5247e-03]]],\n",
      "\n",
      "\n",
      "        [[[ 1.0642e-02,  3.2688e-03,  3.6338e-02],\n",
      "          [ 2.1490e-02, -3.3244e-02,  5.4783e-02],\n",
      "          [-3.2740e-02,  5.6420e-03,  1.8221e-02]],\n",
      "\n",
      "         [[ 2.5242e-02, -1.1788e-02, -5.5441e-03],\n",
      "          [-8.1340e-02,  3.1080e-02,  3.4490e-03],\n",
      "          [-2.3871e-02, -4.0155e-02, -2.9646e-02]],\n",
      "\n",
      "         [[-3.0471e-02,  3.6902e-03,  5.0481e-02],\n",
      "          [ 3.8459e-02,  2.1903e-02, -4.5914e-02],\n",
      "          [ 1.5645e-02,  3.1606e-02, -2.7250e-03]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 1.9988e-02,  2.0928e-02,  2.0510e-02],\n",
      "          [-5.1515e-03, -2.1203e-02,  1.4986e-02],\n",
      "          [-1.9579e-02, -1.8216e-02,  3.0766e-02]],\n",
      "\n",
      "         [[ 2.7453e-02, -4.5611e-02, -3.7532e-03],\n",
      "          [-2.9931e-02,  5.4958e-04,  2.2258e-02],\n",
      "          [-3.1045e-02, -5.0344e-03,  1.0296e-02]],\n",
      "\n",
      "         [[-2.6995e-02, -5.9981e-02, -4.9327e-04],\n",
      "          [ 1.4784e-02,  2.2309e-03, -2.9900e-02],\n",
      "          [-1.7936e-02,  6.8881e-03,  1.5322e-02]]],\n",
      "\n",
      "\n",
      "        ...,\n",
      "\n",
      "\n",
      "        [[[ 1.6394e-02,  4.0939e-02, -1.7685e-02],\n",
      "          [ 3.6831e-02, -1.7518e-02,  1.9780e-03],\n",
      "          [-1.5620e-02, -1.1661e-02,  1.2811e-02]],\n",
      "\n",
      "         [[-2.6970e-02, -8.4814e-02,  2.9937e-02],\n",
      "          [-3.3764e-02, -1.0841e-02,  2.2039e-02],\n",
      "          [ 3.5275e-02,  3.9686e-03, -3.1075e-02]],\n",
      "\n",
      "         [[-3.1980e-02,  2.7336e-02,  2.0036e-02],\n",
      "          [-1.8227e-02, -2.4765e-02,  4.7098e-03],\n",
      "          [-2.6119e-03,  5.8735e-02,  1.0360e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-4.7219e-03,  8.3150e-05, -1.4382e-02],\n",
      "          [-2.4406e-02, -5.1299e-03, -1.2517e-02],\n",
      "          [ 3.5622e-03,  1.0397e-02,  3.9922e-02]],\n",
      "\n",
      "         [[ 3.9513e-02,  4.3355e-02,  9.1586e-03],\n",
      "          [ 2.7819e-04, -6.1656e-02, -3.0063e-02],\n",
      "          [ 1.3743e-02, -1.6781e-03,  1.5216e-03]],\n",
      "\n",
      "         [[-7.1217e-02,  4.2051e-02,  1.3300e-02],\n",
      "          [ 4.8380e-02,  2.1190e-02, -2.8686e-02],\n",
      "          [ 5.2877e-02, -6.2218e-02, -4.2750e-03]]],\n",
      "\n",
      "\n",
      "        [[[-3.6550e-02,  2.8255e-02,  1.8817e-02],\n",
      "          [ 5.0988e-02, -7.9062e-03,  6.2367e-03],\n",
      "          [ 2.2461e-02,  1.9825e-02, -2.2319e-02]],\n",
      "\n",
      "         [[-1.3129e-02,  1.4034e-02,  5.9160e-03],\n",
      "          [-3.0280e-02, -2.4647e-02, -3.1720e-03],\n",
      "          [-3.0151e-03, -3.2181e-03,  3.2641e-02]],\n",
      "\n",
      "         [[-3.1288e-02,  1.3871e-02,  1.2318e-02],\n",
      "          [-2.3666e-03,  1.7225e-02,  2.9241e-03],\n",
      "          [-1.4825e-02,  1.7149e-02, -4.0178e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-2.7213e-02,  2.0758e-02, -9.6189e-03],\n",
      "          [-3.0363e-02,  5.3435e-03,  3.2152e-02],\n",
      "          [-3.2655e-03,  2.1842e-02, -7.6700e-03]],\n",
      "\n",
      "         [[ 1.2967e-02, -7.6047e-02,  1.8809e-02],\n",
      "          [ 1.2838e-02, -1.0834e-02,  9.5650e-03],\n",
      "          [ 3.8533e-03,  3.0221e-02, -6.8378e-03]],\n",
      "\n",
      "         [[-4.2981e-02,  4.6544e-02, -5.1230e-02],\n",
      "          [-2.1940e-02,  3.7911e-02,  8.7022e-03],\n",
      "          [ 1.9739e-02, -6.0422e-02,  6.3505e-03]]],\n",
      "\n",
      "\n",
      "        [[[-5.4375e-03,  1.2850e-02,  5.8365e-02],\n",
      "          [ 4.8747e-03, -7.6293e-03, -2.3937e-02],\n",
      "          [ 2.4555e-02,  2.2527e-02, -1.6453e-02]],\n",
      "\n",
      "         [[-3.6002e-03, -3.7082e-02, -4.4193e-02],\n",
      "          [ 1.2938e-02,  3.3089e-02,  1.1620e-03],\n",
      "          [-2.4782e-02,  1.2315e-03,  1.7156e-02]],\n",
      "\n",
      "         [[-4.3540e-03, -2.8003e-03,  3.0583e-02],\n",
      "          [ 4.6899e-02,  1.8371e-02,  2.2050e-02],\n",
      "          [ 2.8719e-02, -2.3138e-02,  4.1922e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-4.3550e-02,  1.4143e-03,  1.9227e-02],\n",
      "          [-9.6893e-04, -4.7476e-03, -3.5867e-02],\n",
      "          [-3.1326e-02, -4.8231e-02,  3.3318e-02]],\n",
      "\n",
      "         [[-3.4699e-02,  5.3381e-03,  7.4873e-03],\n",
      "          [-1.3492e-02, -6.7702e-03,  1.4813e-03],\n",
      "          [-1.8522e-02, -4.9952e-02, -1.3896e-02]],\n",
      "\n",
      "         [[-4.5007e-02, -1.7821e-02,  4.1109e-02],\n",
      "          [ 2.6659e-02, -1.4141e-02,  1.5502e-02],\n",
      "          [ 2.3377e-02, -6.7107e-03,  8.7391e-03]]]])\n",
      "\n",
      "layer3.1.bn2.weight\n",
      "tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1.])\n",
      "\n",
      "layer3.1.bn2.bias\n",
      "tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.])\n",
      "\n",
      "layer3.1.bn2.running_mean\n",
      "tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.])\n",
      "\n",
      "layer3.1.bn2.running_var\n",
      "tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1.])\n",
      "\n",
      "layer3.1.bn2.num_batches_tracked\n",
      "tensor(0)\n",
      "\n",
      "layer4.0.conv1.weight\n",
      "tensor([[[[-9.5641e-03, -3.2365e-03,  6.5012e-04],\n",
      "          [-2.2746e-02,  3.3314e-02,  2.8772e-02],\n",
      "          [-4.4657e-02, -6.9184e-03,  6.4158e-03]],\n",
      "\n",
      "         [[ 5.0714e-03,  1.6507e-02, -2.5298e-02],\n",
      "          [-2.0538e-02, -1.3792e-02,  1.4814e-02],\n",
      "          [ 7.9550e-03,  2.4650e-03, -2.7781e-02]],\n",
      "\n",
      "         [[-2.3307e-02, -1.3567e-02, -1.3139e-02],\n",
      "          [ 4.4620e-03,  1.1282e-03,  1.5454e-02],\n",
      "          [ 9.4205e-03,  2.2680e-02, -1.8919e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-1.0154e-02,  1.5568e-02,  2.4862e-02],\n",
      "          [-3.8084e-02, -2.1100e-02, -1.3004e-02],\n",
      "          [ 2.1356e-02, -1.2519e-02,  1.4816e-02]],\n",
      "\n",
      "         [[ 2.0670e-02,  1.6941e-02,  7.7249e-03],\n",
      "          [ 7.7471e-03, -3.9608e-02, -1.5759e-02],\n",
      "          [ 4.4017e-02, -2.6733e-03, -9.4547e-03]],\n",
      "\n",
      "         [[ 2.7385e-02,  1.8182e-02,  9.1741e-03],\n",
      "          [-5.1698e-03, -6.3562e-03,  1.0479e-02],\n",
      "          [ 1.3303e-02,  1.6480e-02, -1.5736e-02]]],\n",
      "\n",
      "\n",
      "        [[[-3.0106e-02, -4.5280e-03,  6.7197e-04],\n",
      "          [-1.4925e-02, -2.8856e-02,  2.1558e-02],\n",
      "          [-2.2731e-02, -2.0530e-03, -1.1897e-03]],\n",
      "\n",
      "         [[-2.0701e-02, -2.4229e-02,  2.2261e-02],\n",
      "          [-2.0617e-02, -4.4211e-03, -2.4920e-02],\n",
      "          [-8.3154e-03,  4.5632e-03,  9.6684e-03]],\n",
      "\n",
      "         [[-1.6917e-02, -2.4766e-02,  2.9883e-02],\n",
      "          [-1.2527e-02, -2.5661e-02, -2.5562e-02],\n",
      "          [ 8.0097e-04,  1.0595e-02,  6.7204e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 2.7214e-02, -2.8098e-02,  8.1976e-03],\n",
      "          [ 8.9501e-03,  2.8183e-02, -2.2652e-03],\n",
      "          [-3.0581e-02, -1.8881e-02, -4.3639e-02]],\n",
      "\n",
      "         [[ 3.8253e-03, -4.2838e-03, -1.8705e-02],\n",
      "          [-2.9484e-02, -1.0165e-02, -3.5543e-02],\n",
      "          [ 4.5431e-02,  6.4561e-03, -4.8615e-02]],\n",
      "\n",
      "         [[-2.4843e-02, -1.7531e-02, -7.7648e-03],\n",
      "          [ 2.5579e-02,  1.3200e-02,  9.2179e-04],\n",
      "          [-2.2537e-02,  1.9771e-02, -1.2911e-02]]],\n",
      "\n",
      "\n",
      "        [[[-6.0741e-02,  3.0174e-02, -2.8601e-02],\n",
      "          [-2.4878e-02,  1.6385e-02,  3.2850e-02],\n",
      "          [ 2.1829e-02, -4.7078e-02, -3.7803e-03]],\n",
      "\n",
      "         [[-8.4177e-03,  2.8230e-02, -3.1513e-03],\n",
      "          [-3.9307e-02, -2.1627e-02,  2.8578e-02],\n",
      "          [ 1.0172e-02, -3.7704e-02,  6.3845e-03]],\n",
      "\n",
      "         [[ 3.9047e-03, -1.1712e-02,  1.7110e-02],\n",
      "          [-1.1207e-02,  3.6985e-02,  3.3154e-03],\n",
      "          [-1.5475e-02,  1.7129e-02,  1.8683e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-2.2708e-03,  9.3069e-03,  4.9609e-02],\n",
      "          [-1.7796e-02, -1.1566e-02, -1.7060e-03],\n",
      "          [ 9.4038e-03, -2.9682e-03, -3.5827e-02]],\n",
      "\n",
      "         [[ 1.6140e-02,  7.2367e-03, -2.2474e-03],\n",
      "          [-1.4039e-02,  2.2239e-03, -1.8450e-02],\n",
      "          [-4.0382e-02,  3.8524e-03,  9.1800e-03]],\n",
      "\n",
      "         [[-2.3462e-03,  3.8877e-03,  2.5826e-02],\n",
      "          [-1.0390e-02, -6.2622e-03,  1.0605e-02],\n",
      "          [-4.1799e-03, -4.5900e-03,  3.1689e-02]]],\n",
      "\n",
      "\n",
      "        ...,\n",
      "\n",
      "\n",
      "        [[[-3.6459e-03,  4.8175e-02,  3.9852e-03],\n",
      "          [-2.2860e-02,  4.3462e-03, -3.2777e-04],\n",
      "          [ 3.5044e-02,  4.5716e-02,  3.4131e-02]],\n",
      "\n",
      "         [[ 7.1569e-03,  1.7618e-02, -1.8941e-02],\n",
      "          [-8.0962e-03,  1.3840e-02,  1.9634e-02],\n",
      "          [-4.8046e-03,  1.3780e-02, -4.0990e-02]],\n",
      "\n",
      "         [[-2.1210e-02,  4.9046e-03, -1.9284e-02],\n",
      "          [ 3.7729e-02, -8.1327e-03, -1.4213e-02],\n",
      "          [ 3.1082e-02,  4.0913e-04,  2.1647e-03]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-1.9403e-02,  2.8845e-02, -1.2648e-02],\n",
      "          [ 1.8479e-02,  3.3376e-02,  2.3956e-03],\n",
      "          [-1.8101e-02,  5.3383e-02,  2.7175e-02]],\n",
      "\n",
      "         [[-2.4311e-02, -2.6327e-03,  8.3562e-03],\n",
      "          [ 9.8305e-03,  4.9886e-03, -1.6791e-02],\n",
      "          [ 1.0683e-02,  7.1496e-03, -3.9471e-03]],\n",
      "\n",
      "         [[ 6.3337e-03, -2.4755e-02, -3.8017e-02],\n",
      "          [-5.4592e-03, -7.8042e-03,  3.0326e-02],\n",
      "          [-1.4803e-02, -7.7174e-04, -2.5796e-02]]],\n",
      "\n",
      "\n",
      "        [[[ 3.7691e-02, -1.7019e-02,  1.7271e-02],\n",
      "          [-3.2875e-02, -3.1995e-02,  1.0189e-02],\n",
      "          [-2.9745e-03, -1.6210e-02,  2.4553e-02]],\n",
      "\n",
      "         [[-1.5226e-02, -1.1329e-03, -2.5029e-02],\n",
      "          [-1.8383e-03, -1.0905e-03, -6.5040e-03],\n",
      "          [ 2.3743e-02, -1.2418e-02, -4.4204e-02]],\n",
      "\n",
      "         [[-2.1575e-02,  3.9423e-03, -1.2072e-02],\n",
      "          [ 6.3690e-04, -9.5788e-03, -1.8942e-02],\n",
      "          [ 2.1904e-02, -3.0652e-02,  2.2008e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-2.5824e-02, -5.4935e-03,  3.8264e-02],\n",
      "          [-9.6623e-03, -1.1431e-02, -6.9868e-03],\n",
      "          [ 2.2603e-02, -3.0295e-02,  3.6018e-02]],\n",
      "\n",
      "         [[ 1.8921e-02,  2.2218e-03, -1.4171e-02],\n",
      "          [ 2.0226e-02, -4.3129e-02,  2.4785e-02],\n",
      "          [ 1.9518e-02, -9.0880e-04, -1.4982e-02]],\n",
      "\n",
      "         [[-8.2654e-03,  1.2719e-02,  1.1433e-02],\n",
      "          [-1.7924e-02, -3.0417e-02, -2.2792e-02],\n",
      "          [-1.7399e-02, -4.3635e-02,  1.3793e-02]]],\n",
      "\n",
      "\n",
      "        [[[ 3.2472e-02,  7.0185e-04,  1.4894e-03],\n",
      "          [-1.3188e-02,  2.8819e-03,  1.0464e-02],\n",
      "          [ 6.8679e-03, -8.7400e-03, -4.4790e-03]],\n",
      "\n",
      "         [[ 2.2241e-02, -4.2378e-03,  5.2340e-04],\n",
      "          [ 1.3606e-02, -2.3524e-02,  5.2270e-03],\n",
      "          [ 2.0528e-02, -5.7493e-03, -3.1901e-02]],\n",
      "\n",
      "         [[ 1.1074e-02,  1.2441e-02,  3.1395e-02],\n",
      "          [ 7.1589e-04,  4.5368e-03, -4.6162e-03],\n",
      "          [-7.7360e-03,  1.5564e-02, -3.5115e-03]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-2.2620e-03, -1.3640e-02, -4.8377e-02],\n",
      "          [-5.8835e-03, -2.8133e-02,  5.1126e-04],\n",
      "          [ 1.4519e-02, -1.9235e-02, -7.4430e-03]],\n",
      "\n",
      "         [[-1.8286e-02, -2.7055e-02, -1.8777e-02],\n",
      "          [ 1.0557e-02, -1.3518e-02, -3.5603e-02],\n",
      "          [-4.9844e-02, -1.9601e-03,  3.3048e-02]],\n",
      "\n",
      "         [[ 3.9807e-02,  2.3741e-02, -5.3310e-02],\n",
      "          [-1.9146e-03, -1.9006e-02,  9.2530e-06],\n",
      "          [ 5.8258e-02, -2.0399e-02,  2.5054e-02]]]])\n",
      "\n",
      "layer4.0.bn1.weight\n",
      "tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1.])\n",
      "\n",
      "layer4.0.bn1.bias\n",
      "tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0.])\n",
      "\n",
      "layer4.0.bn1.running_mean\n",
      "tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0.])\n",
      "\n",
      "layer4.0.bn1.running_var\n",
      "tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1.])\n",
      "\n",
      "layer4.0.bn1.num_batches_tracked\n",
      "tensor(0)\n",
      "\n",
      "layer4.0.conv2.weight\n",
      "tensor([[[[ 0.0216, -0.0199, -0.0360],\n",
      "          [ 0.0059,  0.0175,  0.0053],\n",
      "          [ 0.0079,  0.0052, -0.0244]],\n",
      "\n",
      "         [[ 0.0076, -0.0599,  0.0185],\n",
      "          [ 0.0150, -0.0027, -0.0083],\n",
      "          [-0.0118, -0.0138, -0.0255]],\n",
      "\n",
      "         [[-0.0071, -0.0054, -0.0122],\n",
      "          [-0.0260, -0.0290, -0.0037],\n",
      "          [-0.0275, -0.0186, -0.0103]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 0.0162, -0.0240, -0.0005],\n",
      "          [ 0.0032,  0.0123, -0.0035],\n",
      "          [ 0.0108, -0.0001, -0.0214]],\n",
      "\n",
      "         [[-0.0014, -0.0149,  0.0050],\n",
      "          [ 0.0283, -0.0155, -0.0096],\n",
      "          [-0.0387, -0.0247, -0.0015]],\n",
      "\n",
      "         [[ 0.0013,  0.0077, -0.0364],\n",
      "          [-0.0058, -0.0076,  0.0207],\n",
      "          [ 0.0010,  0.0175,  0.0078]]],\n",
      "\n",
      "\n",
      "        [[[ 0.0641, -0.0316, -0.0126],\n",
      "          [-0.0206,  0.0101,  0.0131],\n",
      "          [-0.0087,  0.0218, -0.0098]],\n",
      "\n",
      "         [[-0.0092,  0.0181,  0.0081],\n",
      "          [ 0.0281, -0.0103, -0.0137],\n",
      "          [-0.0042, -0.0100, -0.0167]],\n",
      "\n",
      "         [[ 0.0058, -0.0024,  0.0045],\n",
      "          [ 0.0167, -0.0061, -0.0079],\n",
      "          [ 0.0118, -0.0184, -0.0435]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 0.0142, -0.0146, -0.0035],\n",
      "          [ 0.0234, -0.0178,  0.0511],\n",
      "          [-0.0294, -0.0096, -0.0056]],\n",
      "\n",
      "         [[ 0.0088,  0.0159,  0.0024],\n",
      "          [-0.0398,  0.0201, -0.0164],\n",
      "          [-0.0132, -0.0217,  0.0054]],\n",
      "\n",
      "         [[-0.0117,  0.0146, -0.0064],\n",
      "          [-0.0048, -0.0085,  0.0164],\n",
      "          [-0.0229, -0.0359,  0.0478]]],\n",
      "\n",
      "\n",
      "        [[[-0.0163,  0.0047, -0.0010],\n",
      "          [-0.0391, -0.0091, -0.0072],\n",
      "          [ 0.0264,  0.0008,  0.0156]],\n",
      "\n",
      "         [[-0.0116,  0.0159, -0.0152],\n",
      "          [-0.0084,  0.0248, -0.0123],\n",
      "          [-0.0295,  0.0066, -0.0375]],\n",
      "\n",
      "         [[ 0.0336, -0.0452, -0.0025],\n",
      "          [-0.0123, -0.0076,  0.0073],\n",
      "          [-0.0143,  0.0031, -0.0094]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-0.0125,  0.0020,  0.0340],\n",
      "          [-0.0168,  0.0197, -0.0218],\n",
      "          [-0.0091,  0.0139,  0.0380]],\n",
      "\n",
      "         [[-0.0535, -0.0081,  0.0179],\n",
      "          [ 0.0035,  0.0291, -0.0349],\n",
      "          [ 0.0060, -0.0094, -0.0039]],\n",
      "\n",
      "         [[-0.0106, -0.0185, -0.0155],\n",
      "          [-0.0130, -0.0158, -0.0100],\n",
      "          [ 0.0043,  0.0002, -0.0013]]],\n",
      "\n",
      "\n",
      "        ...,\n",
      "\n",
      "\n",
      "        [[[-0.0073, -0.0239,  0.0248],\n",
      "          [ 0.0106,  0.0163, -0.0257],\n",
      "          [-0.0145, -0.0042, -0.0043]],\n",
      "\n",
      "         [[-0.0280,  0.0193,  0.0059],\n",
      "          [-0.0089, -0.0057,  0.0211],\n",
      "          [-0.0251,  0.0063, -0.0103]],\n",
      "\n",
      "         [[-0.0011,  0.0251,  0.0185],\n",
      "          [-0.0084,  0.0425, -0.0423],\n",
      "          [-0.0233,  0.0066,  0.0029]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-0.0042, -0.0088,  0.0279],\n",
      "          [ 0.0109,  0.0343, -0.0108],\n",
      "          [ 0.0044,  0.0102,  0.0021]],\n",
      "\n",
      "         [[-0.0108, -0.0227, -0.0027],\n",
      "          [ 0.0355,  0.0003, -0.0283],\n",
      "          [ 0.0146,  0.0146, -0.0053]],\n",
      "\n",
      "         [[-0.0089,  0.0040, -0.0037],\n",
      "          [ 0.0268, -0.0325, -0.0208],\n",
      "          [ 0.0304,  0.0271,  0.0228]]],\n",
      "\n",
      "\n",
      "        [[[-0.0158, -0.0085,  0.0148],\n",
      "          [-0.0281, -0.0111, -0.0155],\n",
      "          [ 0.0069, -0.0002,  0.0199]],\n",
      "\n",
      "         [[-0.0038, -0.0108, -0.0149],\n",
      "          [ 0.0102,  0.0316, -0.0025],\n",
      "          [-0.0062,  0.0017,  0.0133]],\n",
      "\n",
      "         [[ 0.0270,  0.0280, -0.0060],\n",
      "          [-0.0079, -0.0030,  0.0187],\n",
      "          [ 0.0329, -0.0099, -0.0484]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 0.0267,  0.0169, -0.0264],\n",
      "          [ 0.0006,  0.0102, -0.0069],\n",
      "          [-0.0232, -0.0392,  0.0099]],\n",
      "\n",
      "         [[ 0.0089, -0.0361,  0.0223],\n",
      "          [-0.0037, -0.0164, -0.0010],\n",
      "          [-0.0114,  0.0013,  0.0099]],\n",
      "\n",
      "         [[ 0.0114, -0.0235,  0.0330],\n",
      "          [-0.0175, -0.0052, -0.0219],\n",
      "          [ 0.0296, -0.0017,  0.0218]]],\n",
      "\n",
      "\n",
      "        [[[-0.0067,  0.0086, -0.0030],\n",
      "          [ 0.0221, -0.0159, -0.0026],\n",
      "          [-0.0309, -0.0057, -0.0099]],\n",
      "\n",
      "         [[-0.0496, -0.0067, -0.0146],\n",
      "          [ 0.0182,  0.0092, -0.0130],\n",
      "          [-0.0077, -0.0130, -0.0161]],\n",
      "\n",
      "         [[ 0.0020, -0.0044,  0.0212],\n",
      "          [-0.0054, -0.0123, -0.0268],\n",
      "          [ 0.0031,  0.0041,  0.0201]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-0.0224,  0.0185,  0.0373],\n",
      "          [-0.0054,  0.0085,  0.0488],\n",
      "          [-0.0285, -0.0293,  0.0215]],\n",
      "\n",
      "         [[-0.0108, -0.0001, -0.0052],\n",
      "          [ 0.0146,  0.0109, -0.0584],\n",
      "          [ 0.0064, -0.0109, -0.0251]],\n",
      "\n",
      "         [[-0.0072, -0.0160,  0.0127],\n",
      "          [ 0.0094, -0.0098,  0.0242],\n",
      "          [-0.0026,  0.0163, -0.0111]]]])\n",
      "\n",
      "layer4.0.bn2.weight\n",
      "tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1.])\n",
      "\n",
      "layer4.0.bn2.bias\n",
      "tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0.])\n",
      "\n",
      "layer4.0.bn2.running_mean\n",
      "tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0.])\n",
      "\n",
      "layer4.0.bn2.running_var\n",
      "tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1.])\n",
      "\n",
      "layer4.0.bn2.num_batches_tracked\n",
      "tensor(0)\n",
      "\n",
      "layer4.0.downsample.0.weight\n",
      "tensor([[[[ 0.0230]],\n",
      "\n",
      "         [[-0.0268]],\n",
      "\n",
      "         [[-0.0248]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 0.1051]],\n",
      "\n",
      "         [[-0.0115]],\n",
      "\n",
      "         [[-0.0972]]],\n",
      "\n",
      "\n",
      "        [[[-0.0035]],\n",
      "\n",
      "         [[ 0.0261]],\n",
      "\n",
      "         [[-0.0861]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 0.0315]],\n",
      "\n",
      "         [[-0.0404]],\n",
      "\n",
      "         [[ 0.1477]]],\n",
      "\n",
      "\n",
      "        [[[-0.1049]],\n",
      "\n",
      "         [[ 0.0489]],\n",
      "\n",
      "         [[ 0.0683]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-0.0348]],\n",
      "\n",
      "         [[ 0.0243]],\n",
      "\n",
      "         [[-0.0230]]],\n",
      "\n",
      "\n",
      "        ...,\n",
      "\n",
      "\n",
      "        [[[-0.0738]],\n",
      "\n",
      "         [[ 0.0031]],\n",
      "\n",
      "         [[-0.0260]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 0.0609]],\n",
      "\n",
      "         [[ 0.0077]],\n",
      "\n",
      "         [[ 0.1364]]],\n",
      "\n",
      "\n",
      "        [[[-0.0184]],\n",
      "\n",
      "         [[ 0.0057]],\n",
      "\n",
      "         [[-0.0303]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-0.0630]],\n",
      "\n",
      "         [[ 0.0108]],\n",
      "\n",
      "         [[ 0.0800]]],\n",
      "\n",
      "\n",
      "        [[[ 0.0078]],\n",
      "\n",
      "         [[ 0.0269]],\n",
      "\n",
      "         [[-0.0689]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-0.0922]],\n",
      "\n",
      "         [[-0.0395]],\n",
      "\n",
      "         [[ 0.0478]]]])\n",
      "\n",
      "layer4.0.downsample.1.weight\n",
      "tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1.])\n",
      "\n",
      "layer4.0.downsample.1.bias\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0.])\n",
      "\n",
      "layer4.0.downsample.1.running_mean\n",
      "tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0.])\n",
      "\n",
      "layer4.0.downsample.1.running_var\n",
      "tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1.])\n",
      "\n",
      "layer4.0.downsample.1.num_batches_tracked\n",
      "tensor(0)\n",
      "\n",
      "layer4.1.conv1.weight\n",
      "tensor([[[[-4.0303e-03,  1.1864e-02,  5.1395e-03],\n",
      "          [-1.8015e-03,  3.9986e-02, -2.0626e-02],\n",
      "          [ 3.0232e-02, -1.7045e-04, -1.4887e-02]],\n",
      "\n",
      "         [[-2.8485e-02,  2.0326e-02,  7.1960e-03],\n",
      "          [ 3.1579e-02,  1.0873e-02,  2.3786e-02],\n",
      "          [ 2.5122e-02,  1.3108e-02, -1.3673e-02]],\n",
      "\n",
      "         [[ 5.1455e-03, -5.8658e-03, -6.2457e-03],\n",
      "          [ 5.2174e-03, -3.6967e-02, -3.7328e-02],\n",
      "          [ 1.3576e-02,  7.9645e-04,  3.9479e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 3.3514e-03, -1.3410e-02, -1.2966e-02],\n",
      "          [ 5.0387e-03, -1.6172e-02, -3.3287e-03],\n",
      "          [ 3.2511e-03, -2.1414e-02, -4.2143e-03]],\n",
      "\n",
      "         [[ 1.9709e-05, -6.3950e-03, -1.0814e-02],\n",
      "          [-1.8077e-03,  1.4282e-02,  2.3534e-02],\n",
      "          [ 3.1486e-02,  2.5160e-02, -7.2368e-03]],\n",
      "\n",
      "         [[-3.7944e-02,  1.3645e-02, -2.4970e-02],\n",
      "          [ 5.6938e-03, -3.4403e-03, -7.1068e-03],\n",
      "          [ 2.9926e-03,  1.1297e-02,  2.0247e-02]]],\n",
      "\n",
      "\n",
      "        [[[ 4.1341e-02, -7.5873e-03,  6.2769e-03],\n",
      "          [-2.1124e-02, -1.1795e-02, -3.4405e-03],\n",
      "          [ 2.3978e-02,  6.0116e-03,  3.0029e-03]],\n",
      "\n",
      "         [[ 4.3495e-03,  2.4320e-02, -2.4052e-02],\n",
      "          [-4.1522e-03,  3.0300e-02, -2.9547e-02],\n",
      "          [-1.8013e-02,  1.6903e-02,  6.4330e-03]],\n",
      "\n",
      "         [[-2.0124e-02,  7.2819e-03,  1.7916e-02],\n",
      "          [ 4.9390e-04,  9.6163e-03,  2.4446e-02],\n",
      "          [ 3.2500e-02,  2.9216e-04, -3.1991e-03]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 1.0821e-02,  1.4295e-02,  2.2964e-03],\n",
      "          [-8.9778e-03, -2.8813e-03,  2.3430e-02],\n",
      "          [ 3.6785e-03, -4.3466e-02,  1.7818e-02]],\n",
      "\n",
      "         [[-3.1984e-03, -6.2684e-03,  7.5699e-03],\n",
      "          [-1.9296e-02, -3.6158e-03,  4.2360e-03],\n",
      "          [ 1.8167e-03,  3.2552e-02,  1.9874e-02]],\n",
      "\n",
      "         [[ 1.3324e-02, -1.8418e-02,  3.2917e-02],\n",
      "          [ 1.5872e-02,  3.7866e-02, -6.1787e-03],\n",
      "          [ 2.5448e-02, -1.3140e-02,  9.3854e-03]]],\n",
      "\n",
      "\n",
      "        [[[ 3.5669e-02, -8.2663e-03,  5.3999e-02],\n",
      "          [-1.3871e-02,  1.1039e-02,  1.1087e-02],\n",
      "          [-1.2594e-02, -9.4920e-03,  6.5753e-03]],\n",
      "\n",
      "         [[-5.6283e-04,  1.3085e-02, -6.7201e-03],\n",
      "          [ 1.3404e-02,  2.2890e-02, -1.9934e-02],\n",
      "          [ 3.2056e-02, -1.2293e-02,  1.7398e-02]],\n",
      "\n",
      "         [[ 3.0499e-02, -8.4663e-03, -3.8366e-02],\n",
      "          [ 8.8676e-03,  3.4918e-04, -2.5016e-02],\n",
      "          [ 1.0342e-02,  8.5068e-03, -2.0233e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-2.1286e-02, -1.3380e-02,  1.4585e-02],\n",
      "          [-4.9149e-03,  9.2206e-03,  3.0450e-02],\n",
      "          [ 1.6550e-02,  2.0342e-02,  1.5599e-02]],\n",
      "\n",
      "         [[ 1.8242e-02, -2.1589e-02,  9.5562e-03],\n",
      "          [-5.1471e-02,  5.4720e-02, -2.0138e-02],\n",
      "          [-2.3326e-02, -1.4920e-02,  2.3742e-02]],\n",
      "\n",
      "         [[ 7.7498e-03,  3.1322e-02, -1.7402e-02],\n",
      "          [-2.2443e-02, -1.9538e-02,  6.0014e-02],\n",
      "          [ 3.5230e-02, -2.8613e-03, -2.0413e-02]]],\n",
      "\n",
      "\n",
      "        ...,\n",
      "\n",
      "\n",
      "        [[[ 8.5180e-03,  3.0408e-02, -6.2438e-03],\n",
      "          [ 1.0130e-02, -7.7231e-03,  8.5528e-03],\n",
      "          [ 2.0391e-02, -8.2340e-03, -1.7021e-03]],\n",
      "\n",
      "         [[ 3.7508e-02, -2.5164e-02,  8.6819e-03],\n",
      "          [ 2.5124e-02, -2.9311e-02, -8.8794e-03],\n",
      "          [-2.9578e-03,  8.0161e-03,  1.1489e-02]],\n",
      "\n",
      "         [[-2.0483e-02, -9.2221e-03,  1.7289e-02],\n",
      "          [ 1.7389e-03, -1.8184e-02,  5.6600e-03],\n",
      "          [-1.2284e-02,  4.1019e-02,  1.8042e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 2.1975e-03, -1.6881e-02, -1.1250e-02],\n",
      "          [ 5.8671e-03, -5.7541e-02, -2.0376e-02],\n",
      "          [ 1.7888e-02,  7.9396e-03,  1.3729e-02]],\n",
      "\n",
      "         [[-1.7685e-02,  9.8862e-03,  1.3856e-02],\n",
      "          [ 4.4155e-03,  1.6535e-02,  1.6432e-03],\n",
      "          [ 2.8626e-02,  1.0130e-02, -5.4170e-03]],\n",
      "\n",
      "         [[ 5.6365e-03,  2.9631e-02, -3.8838e-02],\n",
      "          [-2.5831e-02,  3.3328e-03, -3.0409e-03],\n",
      "          [ 1.7018e-03,  2.2928e-02, -2.3181e-02]]],\n",
      "\n",
      "\n",
      "        [[[ 8.2342e-03,  9.1594e-03, -1.2155e-02],\n",
      "          [ 1.3301e-02,  3.0378e-02,  1.1963e-02],\n",
      "          [-8.9197e-03, -1.2158e-02,  1.8601e-02]],\n",
      "\n",
      "         [[ 4.0094e-02, -7.1917e-03,  1.7944e-02],\n",
      "          [-1.4695e-02,  3.2130e-02, -2.1731e-02],\n",
      "          [-3.0140e-02,  3.2267e-02,  1.1281e-02]],\n",
      "\n",
      "         [[ 1.4542e-02,  1.2412e-02,  1.0315e-02],\n",
      "          [-3.5365e-02, -2.1819e-02,  1.9676e-02],\n",
      "          [-9.8811e-03, -1.1250e-02, -2.6283e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 1.2261e-02,  1.5001e-03, -1.8410e-02],\n",
      "          [ 2.3209e-03,  5.3314e-03,  1.8824e-03],\n",
      "          [ 1.7455e-02,  1.2813e-02, -3.0142e-03]],\n",
      "\n",
      "         [[-3.3191e-02, -1.2845e-02, -1.0986e-02],\n",
      "          [-2.3687e-02,  2.4417e-02, -3.0819e-03],\n",
      "          [-1.3272e-02, -1.7001e-02,  7.2704e-03]],\n",
      "\n",
      "         [[-1.0144e-02, -2.5249e-02, -1.7334e-03],\n",
      "          [-1.7916e-02, -3.5864e-03,  5.2486e-03],\n",
      "          [ 1.4553e-02,  1.1230e-02,  1.5524e-02]]],\n",
      "\n",
      "\n",
      "        [[[-2.1074e-03, -3.2758e-02,  6.0543e-02],\n",
      "          [-3.3417e-02,  2.9027e-02, -9.9688e-03],\n",
      "          [-5.1605e-03,  7.8801e-03, -4.8784e-03]],\n",
      "\n",
      "         [[-2.2376e-02, -8.1501e-03,  7.8519e-03],\n",
      "          [ 1.2570e-02, -2.5745e-02,  3.3443e-02],\n",
      "          [-2.9159e-02, -4.0191e-02, -2.1649e-02]],\n",
      "\n",
      "         [[-6.5808e-03,  2.9541e-03,  8.0502e-03],\n",
      "          [-1.0605e-02, -4.0117e-02, -2.6277e-03],\n",
      "          [-7.9465e-03,  8.5073e-04, -2.9267e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 2.6657e-02,  5.0369e-03, -3.6299e-04],\n",
      "          [ 3.4859e-02, -2.2368e-02,  1.6109e-02],\n",
      "          [ 3.2782e-02,  7.5838e-03, -8.2074e-03]],\n",
      "\n",
      "         [[-2.3219e-02,  3.3350e-02, -4.6523e-02],\n",
      "          [-2.7815e-02,  1.6797e-02, -2.7331e-02],\n",
      "          [ 2.9700e-02,  2.8104e-02, -5.8896e-02]],\n",
      "\n",
      "         [[ 1.0411e-03,  2.9890e-03,  1.0981e-02],\n",
      "          [-2.9609e-02,  8.4680e-03,  1.1550e-02],\n",
      "          [ 1.3952e-02, -1.8182e-02, -6.9215e-03]]]])\n",
      "\n",
      "layer4.1.bn1.weight\n",
      "tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1.])\n",
      "\n",
      "layer4.1.bn1.bias\n",
      "tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0.])\n",
      "\n",
      "layer4.1.bn1.running_mean\n",
      "tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0.])\n",
      "\n",
      "layer4.1.bn1.running_var\n",
      "tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1.])\n",
      "\n",
      "layer4.1.bn1.num_batches_tracked\n",
      "tensor(0)\n",
      "\n",
      "layer4.1.conv2.weight\n",
      "tensor([[[[ 7.9152e-03,  2.1779e-02, -3.3712e-03],\n",
      "          [ 6.0845e-03,  1.9189e-02,  8.2138e-03],\n",
      "          [ 2.3305e-02, -1.6423e-02,  7.5236e-03]],\n",
      "\n",
      "         [[ 2.2115e-02,  6.7605e-03, -2.0092e-02],\n",
      "          [ 2.0394e-02, -6.0397e-03,  1.8499e-02],\n",
      "          [-3.5889e-03,  2.0866e-02,  3.0547e-03]],\n",
      "\n",
      "         [[-2.2177e-02, -1.5040e-02, -9.5619e-03],\n",
      "          [-1.4394e-03,  1.5470e-02,  2.8939e-02],\n",
      "          [-2.0368e-02, -3.5858e-02,  1.9876e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 1.4491e-02,  4.2566e-03,  1.5691e-02],\n",
      "          [ 4.3938e-03,  1.4092e-02, -1.7566e-02],\n",
      "          [ 2.5876e-02,  3.3031e-02,  1.4811e-03]],\n",
      "\n",
      "         [[-7.7033e-03,  2.3990e-02, -2.7915e-02],\n",
      "          [-1.4859e-03, -3.2933e-02,  1.6742e-02],\n",
      "          [-3.6222e-03, -5.8550e-02, -1.3859e-02]],\n",
      "\n",
      "         [[ 1.0909e-03, -3.6937e-03, -5.5236e-03],\n",
      "          [ 1.5032e-02,  4.6922e-04, -4.5880e-03],\n",
      "          [-1.4786e-02, -6.7303e-03,  3.3083e-02]]],\n",
      "\n",
      "\n",
      "        [[[ 3.2333e-02,  1.6541e-02,  2.3767e-02],\n",
      "          [ 1.7261e-02, -4.3045e-02,  5.7522e-03],\n",
      "          [ 1.1839e-02, -3.3352e-02, -1.0600e-02]],\n",
      "\n",
      "         [[ 6.9373e-03, -6.6933e-03, -1.2727e-02],\n",
      "          [ 1.3770e-04,  9.6333e-03,  3.6836e-03],\n",
      "          [-2.0595e-02,  4.6186e-03, -1.5416e-02]],\n",
      "\n",
      "         [[ 2.0083e-02,  7.8108e-03, -3.1308e-02],\n",
      "          [-1.8041e-02,  3.7684e-04,  9.6527e-03],\n",
      "          [-3.4514e-02, -1.1800e-02, -2.3538e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 3.0745e-03, -2.9524e-02, -2.6678e-02],\n",
      "          [-1.2675e-02, -1.2307e-02, -1.1310e-02],\n",
      "          [-9.9986e-03,  2.0468e-02,  6.4996e-03]],\n",
      "\n",
      "         [[-7.6306e-03,  2.3626e-02,  3.9201e-02],\n",
      "          [-2.8711e-02,  3.1008e-03, -1.6385e-02],\n",
      "          [-1.0898e-02,  7.9763e-03, -1.6706e-03]],\n",
      "\n",
      "         [[ 2.3965e-03, -3.9073e-02, -5.7424e-02],\n",
      "          [-3.0315e-02, -6.0324e-04, -1.6153e-02],\n",
      "          [ 1.4337e-02, -1.4698e-02,  2.3734e-02]]],\n",
      "\n",
      "\n",
      "        [[[ 1.7252e-02, -4.8133e-02, -1.0640e-02],\n",
      "          [-1.0420e-02, -1.0756e-02, -3.8175e-02],\n",
      "          [-6.9942e-03, -4.4464e-02, -2.4092e-03]],\n",
      "\n",
      "         [[-2.6383e-03, -1.7993e-02,  5.5520e-02],\n",
      "          [-7.4435e-03,  2.0235e-02, -6.6964e-03],\n",
      "          [-2.4359e-02,  8.9088e-03,  3.5896e-03]],\n",
      "\n",
      "         [[-4.3524e-03,  3.0321e-02,  4.9853e-02],\n",
      "          [ 1.5759e-02, -2.3314e-02, -8.5214e-03],\n",
      "          [ 2.6863e-03,  3.3230e-02,  8.3423e-03]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-6.3695e-03, -3.7710e-03, -2.0397e-02],\n",
      "          [-1.6316e-02, -4.2990e-02, -7.3015e-05],\n",
      "          [ 6.6533e-02, -6.2138e-03, -1.8140e-02]],\n",
      "\n",
      "         [[-1.4904e-02, -2.9259e-02,  1.2515e-02],\n",
      "          [-4.7523e-02,  6.5270e-03,  5.0237e-02],\n",
      "          [ 4.4715e-03,  4.0817e-04, -8.5987e-03]],\n",
      "\n",
      "         [[-5.3237e-03, -2.2562e-02,  2.3641e-02],\n",
      "          [ 3.4765e-02,  3.4859e-02,  4.7792e-04],\n",
      "          [-1.8155e-02,  1.2853e-02,  8.0134e-03]]],\n",
      "\n",
      "\n",
      "        ...,\n",
      "\n",
      "\n",
      "        [[[ 5.7158e-03, -1.7018e-02,  6.2392e-03],\n",
      "          [-2.2229e-02,  7.5665e-04, -3.5771e-03],\n",
      "          [-4.7421e-02, -1.9094e-02, -1.8545e-02]],\n",
      "\n",
      "         [[ 3.3834e-02,  4.8608e-03, -4.2516e-03],\n",
      "          [-1.3500e-02, -1.4035e-02, -2.2646e-02],\n",
      "          [-2.5299e-03, -1.2373e-02,  7.7564e-03]],\n",
      "\n",
      "         [[ 2.7688e-02, -6.9559e-03, -4.3115e-02],\n",
      "          [ 3.7385e-02, -1.0417e-02,  5.3279e-02],\n",
      "          [-2.4633e-02, -1.4704e-02,  1.3908e-03]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 7.8788e-04, -1.2370e-02,  5.5159e-03],\n",
      "          [-9.9722e-03, -1.2854e-02,  7.4744e-03],\n",
      "          [ 3.0262e-03,  3.1036e-02,  1.7572e-02]],\n",
      "\n",
      "         [[ 1.0329e-03, -2.9071e-02, -1.5475e-02],\n",
      "          [-7.1086e-03, -3.9963e-03,  3.2122e-03],\n",
      "          [ 5.5666e-03,  2.2939e-02,  3.1326e-02]],\n",
      "\n",
      "         [[ 4.9105e-02, -2.5264e-03,  1.3637e-02],\n",
      "          [-5.5137e-03, -3.1091e-02, -1.0847e-02],\n",
      "          [-6.5095e-03, -5.5948e-02,  3.3080e-02]]],\n",
      "\n",
      "\n",
      "        [[[ 2.1380e-02,  3.4020e-02,  1.4699e-02],\n",
      "          [ 1.9420e-02, -3.1104e-02, -4.2297e-02],\n",
      "          [-2.9285e-02,  1.5515e-02,  2.5431e-02]],\n",
      "\n",
      "         [[-5.5732e-02, -6.9131e-03,  2.9036e-02],\n",
      "          [ 2.7626e-02,  5.9683e-04, -3.4277e-02],\n",
      "          [-2.6255e-02, -3.4195e-04,  8.0822e-03]],\n",
      "\n",
      "         [[-2.0517e-02, -8.2424e-03, -6.0776e-03],\n",
      "          [ 1.2715e-02,  2.2926e-03,  1.6749e-02],\n",
      "          [-5.4016e-02,  1.6464e-02, -1.1339e-03]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 1.2275e-02, -8.5650e-03,  1.4076e-02],\n",
      "          [ 2.7463e-02,  3.1251e-02, -8.5200e-03],\n",
      "          [ 2.1378e-03,  4.7696e-03, -8.0130e-03]],\n",
      "\n",
      "         [[-1.2106e-02,  2.1800e-02,  2.3719e-02],\n",
      "          [ 1.4984e-02,  5.5399e-02,  1.3620e-02],\n",
      "          [ 1.7498e-02,  2.8993e-02, -1.9089e-02]],\n",
      "\n",
      "         [[-1.3949e-02, -1.7962e-02, -2.0297e-03],\n",
      "          [ 1.5753e-03,  3.7625e-03, -2.9967e-03],\n",
      "          [ 1.9719e-02,  3.0253e-02,  3.6018e-03]]],\n",
      "\n",
      "\n",
      "        [[[ 2.7969e-03,  1.6986e-02,  2.0226e-03],\n",
      "          [-1.5677e-02,  2.5595e-02, -3.9214e-03],\n",
      "          [ 1.6925e-03,  1.6485e-02,  1.8746e-02]],\n",
      "\n",
      "         [[ 2.1242e-04, -1.8687e-02, -3.0649e-04],\n",
      "          [-1.4543e-02,  1.0761e-02,  7.4996e-03],\n",
      "          [-9.7063e-03,  1.9017e-02, -3.3137e-02]],\n",
      "\n",
      "         [[-5.5507e-03, -2.8137e-02, -2.3480e-03],\n",
      "          [-1.9855e-02, -3.5519e-02, -5.1710e-04],\n",
      "          [-2.7982e-02,  1.0714e-02, -4.9495e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-3.2011e-03,  3.8522e-02, -2.2985e-02],\n",
      "          [-1.0051e-02, -1.8097e-02, -2.1824e-02],\n",
      "          [ 2.1598e-03, -1.5233e-02, -2.5449e-03]],\n",
      "\n",
      "         [[-2.5718e-02, -6.5097e-03,  8.1552e-03],\n",
      "          [-1.5609e-02,  1.1676e-04, -2.4292e-02],\n",
      "          [-3.9226e-02, -3.9656e-02,  2.9856e-02]],\n",
      "\n",
      "         [[ 8.5690e-03, -3.6361e-02, -1.6182e-02],\n",
      "          [ 8.9953e-03, -2.1756e-02, -2.1704e-02],\n",
      "          [ 1.1655e-02,  1.5864e-02, -2.9332e-03]]]])\n",
      "\n",
      "layer4.1.bn2.weight\n",
      "tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1.])\n",
      "\n",
      "layer4.1.bn2.bias\n",
      "tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0.])\n",
      "\n",
      "layer4.1.bn2.running_mean\n",
      "tensor([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,\n",
      "        0., 0., 0., 0., 0., 0., 0., 0.])\n",
      "\n",
      "layer4.1.bn2.running_var\n",
      "tensor([1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1., 1.,\n",
      "        1., 1., 1., 1., 1., 1., 1., 1.])\n",
      "\n",
      "layer4.1.bn2.num_batches_tracked\n",
      "tensor(0)\n",
      "\n",
      "fc.weight\n",
      "tensor([[-0.0285,  0.0242, -0.0382,  ..., -0.0268, -0.0089,  0.0171],\n",
      "        [-0.0224,  0.0228,  0.0362,  ...,  0.0022, -0.0358, -0.0022],\n",
      "        [ 0.0184,  0.0183,  0.0165,  ..., -0.0350, -0.0338,  0.0223],\n",
      "        ...,\n",
      "        [ 0.0120,  0.0049,  0.0440,  ..., -0.0162,  0.0032, -0.0228],\n",
      "        [ 0.0156,  0.0382,  0.0185,  ...,  0.0414,  0.0140,  0.0175],\n",
      "        [-0.0226,  0.0177, -0.0035,  ..., -0.0228, -0.0217,  0.0339]])\n",
      "\n",
      "fc.bias\n",
      "tensor([ 5.4407e-03, -3.4898e-02, -3.6241e-02,  2.1548e-03, -2.2687e-02,\n",
      "        -1.9309e-03, -3.6038e-02, -6.1567e-03,  4.2120e-02, -2.7280e-03,\n",
      "        -1.5818e-02,  3.5799e-02,  1.7789e-02, -2.5755e-02, -1.1293e-02,\n",
      "         3.3860e-03,  3.3747e-02, -8.3542e-03, -2.6316e-02, -2.0778e-02,\n",
      "        -2.8653e-02,  3.3928e-02, -2.4120e-02, -4.3130e-02, -1.4516e-02,\n",
      "         2.4626e-02,  4.0051e-02, -1.1283e-02,  3.6067e-02, -3.4270e-02,\n",
      "        -3.1439e-02,  3.5488e-02,  3.3236e-02, -2.1049e-02, -1.6681e-02,\n",
      "        -3.8341e-02, -3.3443e-02,  2.4931e-02, -2.4968e-02,  4.4170e-02,\n",
      "        -2.1269e-02, -3.6836e-02,  2.3743e-02,  1.5572e-02,  4.3355e-02,\n",
      "         1.0188e-02, -3.3319e-02,  7.6021e-03, -1.8726e-02, -2.5221e-02,\n",
      "         4.2545e-02, -2.1556e-02, -1.6517e-02,  1.3295e-02,  1.3633e-02,\n",
      "         4.3832e-02, -4.3291e-02, -7.9596e-03,  2.4024e-02,  4.5692e-03,\n",
      "        -5.1537e-03, -8.1772e-03,  2.8759e-02, -2.6252e-02,  1.8288e-02,\n",
      "        -1.0451e-02, -2.8612e-02,  1.6321e-02, -2.0025e-02,  1.5370e-02,\n",
      "         7.1150e-03, -3.4320e-02, -1.9090e-02,  3.3141e-02,  3.7071e-02,\n",
      "         2.5987e-03, -3.5605e-02, -3.9975e-03,  4.4066e-02,  8.0655e-03,\n",
      "        -4.2200e-02,  2.4859e-02,  2.8625e-02, -7.1516e-03, -1.9050e-02,\n",
      "        -1.8344e-02, -5.3169e-03,  3.1623e-02,  3.5921e-02,  3.9825e-02,\n",
      "        -4.0651e-02,  4.2110e-02, -1.5631e-02,  2.0284e-02, -4.0789e-02,\n",
      "         4.2744e-03, -1.2834e-02,  3.0454e-02,  2.8440e-02,  2.8004e-02,\n",
      "         3.9652e-02,  2.9189e-02,  1.1421e-02,  1.1954e-02, -3.4385e-02,\n",
      "        -1.8857e-02,  9.3676e-03,  3.0014e-02,  2.7045e-02, -2.2067e-02,\n",
      "         3.9043e-02, -1.6631e-03, -3.5272e-02, -1.8185e-02,  1.1474e-02,\n",
      "        -1.3684e-02,  1.2866e-02, -4.7321e-03,  3.2730e-02,  2.6125e-02,\n",
      "        -3.6369e-02,  4.1333e-02, -3.3352e-02,  3.1930e-03,  3.4157e-02,\n",
      "        -1.1477e-02,  1.0131e-02,  1.0253e-02,  2.9367e-02, -1.1705e-02,\n",
      "        -1.6629e-02,  2.7290e-02, -1.7340e-02, -1.0260e-02,  3.1928e-02,\n",
      "         3.7182e-02,  2.5504e-02, -2.8738e-03,  1.7672e-02,  3.6785e-02,\n",
      "        -1.2890e-03,  2.0424e-02,  2.7187e-02,  1.4822e-02,  3.2830e-02,\n",
      "         3.2638e-03,  2.2078e-02,  3.3531e-02, -1.3091e-02,  1.9255e-02,\n",
      "        -2.4347e-02,  3.2941e-02, -2.6750e-02,  3.0187e-02,  1.3513e-02,\n",
      "         8.0411e-03, -4.0337e-03,  8.2660e-03, -2.7944e-02, -2.6924e-02,\n",
      "         3.6647e-03,  2.3279e-02, -1.2815e-02,  2.4850e-02, -2.7237e-02,\n",
      "         2.8718e-02, -3.2660e-02, -2.3855e-02, -1.8360e-02, -2.9680e-02,\n",
      "         4.9540e-04,  4.3831e-02,  2.9338e-02, -3.8581e-02, -2.1474e-02,\n",
      "         5.1996e-03, -1.3081e-03, -2.1249e-02, -3.1622e-02,  4.1461e-02,\n",
      "         1.0797e-02,  6.2201e-03,  2.7409e-02, -1.2086e-03,  2.4474e-02,\n",
      "         2.5437e-02, -2.8511e-02, -2.1067e-02,  3.3583e-02,  2.8182e-02,\n",
      "         1.9511e-02, -8.1757e-03,  2.3867e-02, -3.5879e-02, -3.2871e-02,\n",
      "        -4.3614e-02, -1.8263e-02,  3.0935e-02, -8.2557e-03,  3.5576e-02,\n",
      "        -1.7157e-02, -1.8832e-02,  1.8151e-02,  6.5993e-03,  1.4843e-02,\n",
      "        -7.2159e-03,  1.7616e-02,  2.0975e-02, -2.8342e-02,  5.8815e-05,\n",
      "        -4.5938e-03,  4.4753e-03,  3.6875e-03,  3.3644e-02, -5.0598e-03,\n",
      "         1.4088e-02, -3.5457e-02, -2.0893e-02, -2.9725e-02,  1.3288e-02,\n",
      "        -1.7222e-02,  3.1340e-02, -4.1080e-02, -2.4206e-03, -2.5882e-02,\n",
      "        -3.3436e-02, -1.5916e-02,  4.7011e-03,  4.2024e-02, -1.1949e-02,\n",
      "        -3.6700e-02, -4.2870e-02,  1.2748e-05, -1.3321e-02, -1.4539e-02,\n",
      "         3.4929e-02, -1.4490e-02, -2.1514e-02, -7.9761e-03, -2.2443e-02,\n",
      "        -3.7192e-02, -1.6633e-02, -4.2174e-02,  2.7651e-03,  2.3721e-02,\n",
      "         1.9919e-02, -3.8951e-02, -1.1646e-02, -2.3404e-02,  2.7404e-02,\n",
      "         1.6611e-02, -3.9586e-02,  2.5435e-02, -3.5786e-02,  9.3543e-03,\n",
      "        -5.2008e-03,  4.8194e-03,  7.6488e-03,  9.7306e-03,  1.5055e-02,\n",
      "        -2.1718e-02,  3.9510e-02, -3.4664e-02, -4.3765e-02, -1.1095e-03,\n",
      "        -3.8879e-02, -2.6042e-02,  3.5997e-02, -1.4615e-02,  1.5957e-03,\n",
      "         7.4718e-03,  1.5014e-02, -1.3604e-02, -3.9827e-02,  3.8282e-02,\n",
      "        -2.3431e-02, -1.9533e-02,  2.0443e-02, -2.3309e-02, -5.2911e-03,\n",
      "         2.5349e-02, -4.3034e-03,  3.8948e-02, -2.2647e-02,  2.3990e-02,\n",
      "         3.4413e-02, -3.4772e-02, -6.4882e-03,  3.9072e-03,  3.1708e-03,\n",
      "         1.7716e-02,  9.0912e-03, -2.6053e-02, -1.6475e-02,  2.2924e-02,\n",
      "        -2.1127e-02, -3.6075e-02,  4.0193e-02,  1.4002e-02, -2.0952e-02,\n",
      "        -2.0883e-02, -1.7793e-02,  3.3928e-02, -2.4806e-02, -3.4481e-03,\n",
      "         1.3162e-02, -3.3556e-02,  1.1369e-02,  4.3194e-02, -4.3156e-02,\n",
      "         3.2201e-02, -3.2814e-02,  7.7895e-03, -1.8960e-02,  3.4116e-02,\n",
      "        -4.2289e-02,  3.5379e-02,  7.5475e-03, -2.6120e-02,  3.7804e-02,\n",
      "        -2.2245e-03,  1.2325e-02, -1.7807e-02,  1.0179e-02, -1.6810e-02,\n",
      "        -3.7382e-02,  3.8204e-02, -1.7662e-03, -2.6711e-02,  1.5601e-02,\n",
      "         5.7171e-03,  4.2964e-02, -1.7843e-03, -8.0920e-03,  4.2427e-02,\n",
      "        -2.0469e-02, -9.4253e-03,  1.3085e-02, -4.2037e-02,  1.1887e-02,\n",
      "        -4.4018e-02, -1.9013e-02,  3.7938e-02,  4.0532e-02,  1.5271e-02,\n",
      "        -2.9965e-02,  1.4390e-02,  3.7472e-02, -1.9253e-03,  1.2699e-02,\n",
      "        -3.2349e-03,  4.4001e-02,  3.1194e-02, -3.9878e-02, -3.4868e-02,\n",
      "         4.1705e-02, -4.2498e-02,  4.3453e-03,  3.7577e-03, -9.1742e-03,\n",
      "        -3.5521e-02, -1.7796e-02,  1.2863e-02, -3.4680e-02,  1.0963e-02,\n",
      "         3.9067e-02, -8.1983e-03, -3.8093e-02,  6.7814e-03,  6.0207e-03,\n",
      "        -5.5723e-03, -6.2782e-03, -2.8302e-02, -2.5288e-02, -5.8639e-03,\n",
      "        -4.2034e-02, -3.6685e-02,  9.9320e-03,  3.5710e-02,  2.7269e-02,\n",
      "         8.1025e-03, -1.6649e-02,  8.0012e-03,  4.2185e-02, -2.1482e-02,\n",
      "         4.0319e-02, -3.7452e-02,  1.2481e-02, -6.0044e-03, -2.9900e-02,\n",
      "        -2.8904e-02, -3.9122e-02, -4.2063e-02, -3.2633e-02, -2.8501e-02,\n",
      "        -2.0374e-02, -4.0676e-02,  1.3520e-02, -4.4108e-02,  6.0958e-04,\n",
      "        -2.5041e-02, -4.3021e-02, -2.3333e-03,  3.1632e-02,  1.9489e-02,\n",
      "         4.0151e-02,  6.5787e-03, -7.7734e-03, -2.3395e-02, -1.7850e-02,\n",
      "        -1.3054e-02,  9.7766e-03,  5.7461e-03,  3.4065e-02,  2.7451e-02,\n",
      "        -6.6211e-03,  1.8759e-02, -4.2175e-02,  4.4185e-02,  1.8114e-02,\n",
      "        -1.5003e-02, -1.9271e-02,  3.9904e-02, -6.6625e-04,  3.9512e-02,\n",
      "        -3.1123e-02, -1.4976e-02,  1.7483e-02, -2.3772e-02, -1.5822e-02,\n",
      "        -1.4106e-02, -8.3171e-04,  2.2053e-03, -3.8252e-02,  3.5255e-02,\n",
      "        -3.8455e-02, -3.6794e-02, -4.0063e-02, -3.9081e-02,  1.5986e-02,\n",
      "        -1.2411e-02, -4.0090e-02, -1.5670e-02,  2.8175e-02, -9.6955e-03,\n",
      "        -1.7800e-02,  3.7629e-02,  9.1037e-03, -3.2676e-02, -4.1331e-02,\n",
      "         4.0063e-02, -4.3641e-02, -2.8833e-02,  1.3097e-02, -1.3579e-02,\n",
      "         7.1748e-03,  2.7339e-02,  3.4717e-02, -2.8671e-02, -3.4077e-02,\n",
      "         2.2669e-02, -2.1079e-02, -2.8985e-02,  2.7400e-02,  1.8342e-02,\n",
      "         2.4225e-02, -3.7796e-02, -2.1521e-03,  4.3824e-03,  3.2095e-02,\n",
      "         3.1931e-03, -3.0961e-02,  1.3073e-02, -3.8846e-02,  2.1030e-02,\n",
      "        -4.1725e-02, -1.2631e-02, -4.2773e-02, -1.6845e-02,  6.2600e-05,\n",
      "        -2.0156e-02,  3.2143e-02,  1.3699e-02,  2.9129e-02, -3.4623e-02,\n",
      "         3.5620e-02, -2.6143e-02, -8.1567e-03, -4.2343e-02, -9.0559e-03,\n",
      "        -3.8600e-02, -7.4047e-03, -1.0816e-02,  3.5683e-02, -2.6671e-02,\n",
      "        -3.5744e-02, -2.5594e-02, -2.3507e-02,  1.3844e-02, -3.6138e-02,\n",
      "        -3.7461e-02,  3.5981e-03,  3.3041e-02,  3.1745e-02,  2.3371e-02,\n",
      "         2.2847e-02, -8.0627e-03, -1.1666e-02,  4.1960e-02,  2.4984e-02,\n",
      "         1.7850e-02,  1.8275e-02,  3.5226e-02,  2.7361e-02, -1.6751e-02,\n",
      "        -1.8754e-02,  2.2876e-02, -1.9136e-02, -3.5346e-02,  2.2792e-02,\n",
      "         1.0993e-02,  2.8707e-02, -3.7418e-02,  1.4712e-02,  1.5143e-02,\n",
      "        -3.3708e-02,  2.8955e-02, -6.6057e-03,  1.3906e-02,  1.9623e-02,\n",
      "        -3.5543e-02, -2.3707e-02,  3.4860e-02,  3.1508e-02,  8.5010e-03,\n",
      "         2.3778e-02, -2.4308e-02, -1.7914e-02, -5.1564e-03, -2.1374e-02,\n",
      "         3.9389e-02,  4.2686e-02,  3.4336e-02,  6.3822e-03,  9.1766e-03,\n",
      "        -2.2705e-02, -2.8980e-02,  3.4594e-03, -3.5292e-02,  6.5311e-03,\n",
      "        -8.0607e-04,  2.7280e-02, -7.7084e-03,  3.1713e-02, -1.2719e-02,\n",
      "        -1.2146e-03,  1.0870e-02,  2.0387e-03, -5.6173e-03, -2.9299e-03,\n",
      "         1.8755e-02, -1.8421e-02,  7.0105e-03, -1.9826e-02, -1.9671e-02,\n",
      "        -1.5659e-02,  3.6669e-02, -1.9218e-02, -1.1276e-02,  2.9985e-02,\n",
      "        -3.4685e-02, -2.4431e-02,  3.3285e-02, -4.2229e-02,  1.1313e-02,\n",
      "         5.6495e-03, -4.2664e-02, -2.8983e-02,  6.8233e-03, -6.5056e-03,\n",
      "        -2.2942e-02, -2.8728e-02,  2.3829e-02, -3.1795e-03, -1.3404e-02,\n",
      "         1.9429e-02, -2.4507e-02,  3.4231e-02,  2.3782e-02,  4.1176e-02,\n",
      "        -2.1966e-02,  1.8283e-02,  2.1177e-03,  1.5033e-02, -3.0468e-02,\n",
      "        -2.9523e-04,  2.1667e-02, -4.2052e-02,  4.0995e-03, -3.9590e-02,\n",
      "        -1.8750e-02,  3.1139e-02,  2.9215e-02,  2.4484e-02,  6.1755e-03,\n",
      "         1.7061e-02,  3.1106e-02, -2.5178e-02,  1.9296e-02, -1.6531e-02,\n",
      "        -2.7131e-02,  3.7448e-02,  3.8794e-02,  4.0035e-02, -6.8038e-03,\n",
      "         2.8937e-02,  1.2718e-02, -3.5601e-02,  3.4644e-02,  1.6547e-02,\n",
      "         2.5799e-02, -2.6678e-02, -1.3373e-02, -4.1882e-02, -6.9049e-03,\n",
      "        -3.9925e-02,  1.3340e-03,  4.1792e-02,  4.1217e-02, -2.9196e-03,\n",
      "        -2.1739e-02,  3.7902e-02,  1.4594e-02,  9.6362e-03,  2.2613e-02,\n",
      "         4.1262e-02, -1.7833e-02, -3.9557e-02, -4.0287e-02,  2.1623e-02,\n",
      "         1.1244e-02, -8.0723e-03, -2.4631e-02, -2.7545e-02, -1.4497e-02,\n",
      "        -3.4405e-03, -2.4319e-04,  3.7275e-02, -2.6074e-04, -3.5370e-02,\n",
      "        -6.8974e-03, -3.3269e-02, -3.1654e-02, -3.6918e-02,  1.1302e-02,\n",
      "        -2.3491e-02,  2.9553e-02,  2.7978e-02,  1.7579e-02,  1.2767e-02,\n",
      "         6.6044e-03, -3.5033e-03,  2.8126e-02, -2.2157e-02,  2.4647e-02,\n",
      "        -5.4377e-03, -1.9568e-03,  3.2125e-02,  8.9818e-03, -3.9063e-03,\n",
      "        -4.2064e-02, -4.3135e-02,  3.7938e-02,  2.3018e-02, -2.9446e-02,\n",
      "        -4.0792e-02, -3.6216e-02,  3.6677e-02,  3.0335e-02,  8.9832e-03,\n",
      "        -1.0464e-03,  2.0735e-02, -1.4437e-02, -2.5707e-02,  1.6757e-02,\n",
      "        -2.4594e-02, -5.6225e-04, -3.8679e-02,  9.6413e-03, -2.6223e-02,\n",
      "         3.9145e-02, -1.7259e-02, -3.2932e-02, -4.1414e-02, -1.5594e-02,\n",
      "        -3.8124e-02,  1.6163e-02, -2.0714e-02,  1.2099e-02, -2.8006e-02,\n",
      "         3.9023e-02,  2.0466e-02,  1.8785e-02,  1.9207e-02, -3.7671e-03,\n",
      "         3.6250e-02,  1.6754e-02, -2.0434e-02,  2.1511e-03, -2.4533e-02,\n",
      "        -1.3435e-02,  2.8582e-02,  3.3691e-02, -2.2719e-02, -2.1209e-02,\n",
      "         4.4562e-03, -1.0016e-02,  4.0174e-02, -3.3079e-02, -1.4208e-03,\n",
      "        -1.2700e-02,  1.1290e-02, -1.1099e-02,  8.1453e-03, -4.3110e-03,\n",
      "        -2.1419e-03,  1.9277e-04, -2.4893e-02, -3.0459e-02, -4.0010e-02,\n",
      "         2.8820e-02,  1.8843e-02, -1.4331e-02,  6.2520e-03,  2.9930e-02,\n",
      "        -1.6735e-02,  3.9087e-02,  2.9009e-02, -1.7587e-02,  4.1512e-02,\n",
      "         5.0315e-03, -2.5535e-02, -3.1059e-02,  4.0682e-02,  6.4034e-03,\n",
      "         2.1192e-02, -2.4571e-02,  1.5345e-02, -2.0500e-02, -1.0386e-03,\n",
      "         4.2593e-02,  3.1707e-02,  6.2037e-03, -1.5667e-02, -2.7661e-02,\n",
      "        -3.0717e-03,  2.9674e-03,  6.0496e-03, -3.2470e-02, -1.9264e-02,\n",
      "         3.7717e-02,  5.4648e-03, -2.2164e-02,  1.2585e-02, -1.0597e-02,\n",
      "        -3.0651e-02,  1.0139e-02, -2.4735e-02,  1.1873e-02,  5.9083e-03,\n",
      "         3.5666e-02,  3.9492e-02, -1.7000e-02,  3.1891e-02,  4.8706e-03,\n",
      "         2.9109e-02,  2.0576e-02, -9.9701e-03,  3.4100e-02,  1.0617e-02,\n",
      "        -2.8622e-02,  1.8909e-02, -8.7418e-03,  2.3996e-02, -4.2883e-02,\n",
      "        -1.7056e-03, -1.3651e-02, -7.3044e-03,  3.0134e-02,  9.0753e-03,\n",
      "        -3.5242e-02, -3.6300e-02,  2.7822e-02,  1.5516e-02,  2.8307e-03,\n",
      "         3.0447e-02, -3.2134e-02,  3.0603e-02,  5.6953e-03, -2.6094e-02,\n",
      "        -2.9671e-02, -8.2513e-03,  2.0522e-03,  7.9406e-03, -1.7900e-02,\n",
      "        -2.1778e-02, -3.0758e-02, -7.7125e-03, -2.8196e-02, -1.6282e-02,\n",
      "         2.4065e-02,  3.6541e-02,  3.6565e-02,  4.1605e-02, -2.8801e-04,\n",
      "         3.5530e-02, -2.3183e-02, -1.9506e-03, -3.9840e-02,  2.3199e-02,\n",
      "         3.1970e-02, -3.5714e-03,  3.4082e-02,  1.7625e-02, -1.1340e-02,\n",
      "        -3.7031e-02,  2.8504e-02,  1.0884e-03, -2.9203e-02,  1.8878e-03,\n",
      "         3.2680e-02,  1.0428e-02,  2.7089e-02,  3.0557e-02, -3.8746e-02,\n",
      "        -4.1210e-02,  3.8105e-02, -1.2583e-02,  3.8640e-02,  2.1683e-02,\n",
      "        -6.7687e-03,  3.8409e-02, -2.6948e-02,  4.2824e-02, -3.1415e-02,\n",
      "         2.9004e-02,  2.8601e-02,  1.8982e-02, -3.6856e-02, -3.7991e-02,\n",
      "        -3.0354e-02, -3.2796e-03, -2.2936e-02,  9.0316e-03, -1.3766e-02,\n",
      "         7.4396e-03,  1.5029e-02,  1.7187e-02, -3.0907e-02,  2.0702e-02,\n",
      "         1.4601e-02, -7.5364e-03,  1.6810e-02, -1.9265e-02, -2.2096e-03,\n",
      "        -2.1196e-02,  4.9411e-03, -3.4113e-02, -7.5114e-03, -6.8539e-03,\n",
      "        -1.6018e-02,  8.0473e-03,  2.2486e-02, -1.0234e-02, -3.4967e-02,\n",
      "         2.0028e-02, -1.1158e-02, -3.2966e-02, -3.8346e-03, -1.4184e-02,\n",
      "        -2.4497e-03, -3.7466e-02, -9.3728e-05, -3.0800e-02, -7.3465e-04,\n",
      "        -8.3221e-03, -2.3163e-02, -3.3817e-02,  3.1362e-02,  3.5300e-03,\n",
      "         3.9461e-02, -2.5693e-02,  3.2021e-02, -1.5470e-02, -3.8910e-03,\n",
      "        -2.7544e-02,  3.5196e-02,  1.5878e-02, -3.4038e-02,  2.6061e-02,\n",
      "        -6.5305e-03,  7.0005e-03, -1.1437e-02,  3.5197e-02,  3.2004e-02,\n",
      "        -1.1324e-03,  7.3882e-03, -2.3167e-02, -9.2450e-03, -3.3798e-02,\n",
      "         1.5683e-02, -1.7575e-02, -1.2528e-02,  2.0343e-02, -1.3892e-02,\n",
      "        -2.9221e-02, -3.9762e-02, -3.0943e-02,  1.1632e-02, -2.7201e-02,\n",
      "        -2.9036e-02, -1.5998e-02,  3.1805e-02,  1.4131e-03,  8.1516e-03,\n",
      "        -4.0551e-02, -1.0828e-02, -2.9462e-02,  6.3868e-03, -3.5167e-02,\n",
      "        -2.9765e-02, -3.4031e-02, -3.5347e-02,  1.3352e-02, -2.6089e-02,\n",
      "         2.3568e-02,  8.5116e-03,  3.8323e-02,  1.1584e-02, -5.3965e-03,\n",
      "         2.1095e-02, -3.5824e-02,  3.0070e-02,  2.8073e-02, -2.1905e-02,\n",
      "         3.6114e-02, -7.2563e-04,  1.2387e-02, -1.5823e-02,  5.0740e-03,\n",
      "        -1.7879e-02,  3.4436e-02,  3.4704e-02, -3.9410e-02, -2.0040e-02,\n",
      "         3.3043e-02,  1.0732e-02,  2.6967e-02, -2.6647e-02,  2.4583e-02,\n",
      "        -2.0204e-02, -3.5193e-02, -4.9966e-03,  2.5690e-03,  1.0117e-02,\n",
      "         8.3709e-03,  1.7276e-02,  4.0285e-02,  5.4515e-03,  2.5502e-02,\n",
      "         3.0531e-02,  2.0172e-02,  2.4079e-03, -2.3347e-02, -1.1409e-02,\n",
      "         3.5269e-02, -8.2419e-03, -1.7636e-02,  1.0756e-02, -3.4616e-03,\n",
      "        -2.7307e-02, -3.5494e-02,  2.3659e-02,  2.1383e-02,  6.7658e-04,\n",
      "        -1.5706e-02,  3.8050e-02, -3.6863e-02, -4.1666e-02,  1.4298e-03,\n",
      "         2.0834e-02,  1.0130e-02,  4.2354e-02,  1.9041e-02,  1.0240e-02,\n",
      "        -8.9376e-04, -2.1961e-02, -3.5998e-02,  1.2572e-02, -8.3898e-03])\n",
      "\n"
     ]
    }
   ],
   "source": [
    "from torchvision import models\n",
    "\n",
    "resnet18 = models.resnet18()\n",
    "state_dict = resnet18.state_dict()\n",
    "for key, parameter_value in state_dict.items():\n",
    "    print(key)\n",
    "    print(parameter_value, end=\"\\n\\n\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "hidden": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "features.0.weight\n",
      "tensor([[[[ 4.5314e-02,  2.0033e-02,  3.5577e-02,  ..., -4.9191e-02,\n",
      "           -6.0317e-03, -3.1011e-02],\n",
      "          [ 4.0504e-02, -4.4491e-02,  3.2304e-02,  ...,  3.4372e-02,\n",
      "           -3.1354e-02, -1.9714e-03],\n",
      "          [ 2.1081e-02, -1.3087e-02, -2.8076e-02,  ...,  3.6429e-02,\n",
      "           -4.0342e-02, -4.4726e-02],\n",
      "          ...,\n",
      "          [-2.9946e-02,  3.7663e-02,  1.4073e-02,  ..., -4.6443e-02,\n",
      "            1.0959e-02,  4.6729e-02],\n",
      "          [ 2.0678e-02, -2.0051e-02,  1.2421e-02,  ...,  5.1292e-02,\n",
      "           -4.6548e-02,  3.1067e-02],\n",
      "          [ 5.1696e-02, -4.2718e-03, -3.9379e-02,  ...,  4.4402e-02,\n",
      "           -4.7266e-03, -3.0092e-02]],\n",
      "\n",
      "         [[ 4.9553e-02, -5.1806e-02, -2.8658e-02,  ...,  4.4496e-02,\n",
      "           -3.9197e-02, -3.9776e-02],\n",
      "          [-2.2930e-02,  4.9850e-02,  5.1561e-02,  ...,  2.9524e-02,\n",
      "           -2.1302e-02, -2.1810e-02],\n",
      "          [ 4.5847e-02,  3.9873e-02,  3.5166e-02,  ..., -4.3211e-02,\n",
      "           -4.7453e-02, -2.2792e-02],\n",
      "          ...,\n",
      "          [ 1.9519e-02,  1.2134e-02, -3.0421e-02,  ...,  2.2141e-02,\n",
      "           -1.0529e-02,  3.3574e-04],\n",
      "          [ 1.4925e-02,  4.3103e-04, -2.6750e-02,  ...,  1.6766e-02,\n",
      "           -2.9282e-02,  4.6185e-02],\n",
      "          [ 3.4834e-02,  6.7948e-03,  5.2147e-02,  ..., -3.9904e-02,\n",
      "           -2.0169e-02,  3.1625e-02]],\n",
      "\n",
      "         [[-2.0097e-02,  3.6667e-02,  8.8835e-03,  ..., -5.1587e-02,\n",
      "            4.0172e-02, -3.7191e-02],\n",
      "          [ 5.1462e-02,  2.3956e-02, -5.1799e-02,  ..., -5.2333e-03,\n",
      "            4.0992e-02,  5.3917e-03],\n",
      "          [ 2.1743e-02, -1.3731e-03, -2.1014e-03,  ...,  7.2058e-03,\n",
      "           -2.2320e-02, -1.6810e-03],\n",
      "          ...,\n",
      "          [-2.2735e-03,  1.0333e-02, -4.0349e-02,  ...,  1.7229e-03,\n",
      "            4.8914e-03, -1.7778e-02],\n",
      "          [ 4.7731e-02,  3.1359e-02, -1.2347e-02,  ..., -1.0070e-02,\n",
      "           -2.2996e-02,  1.7030e-02],\n",
      "          [-4.5561e-02, -5.2590e-04, -3.8993e-02,  ...,  1.8892e-02,\n",
      "            1.5935e-03, -1.6255e-02]]],\n",
      "\n",
      "\n",
      "        [[[ 2.9756e-02,  1.3035e-02,  3.5866e-02,  ...,  2.7383e-02,\n",
      "           -4.0330e-02,  4.3215e-02],\n",
      "          [-3.0969e-02,  1.4005e-02,  1.6135e-03,  ..., -1.2761e-02,\n",
      "           -8.9946e-03, -2.8877e-02],\n",
      "          [-8.3089e-04,  7.5696e-03, -4.6488e-02,  ..., -4.1609e-02,\n",
      "           -1.8868e-02,  1.2328e-02],\n",
      "          ...,\n",
      "          [ 1.1509e-02,  2.8191e-02,  3.0645e-02,  ..., -4.0048e-02,\n",
      "            5.8737e-03, -1.9741e-02],\n",
      "          [ 1.5784e-02,  1.2276e-02,  3.8612e-02,  ...,  9.4156e-04,\n",
      "           -2.2607e-02, -4.4600e-02],\n",
      "          [ 4.7433e-02,  3.3745e-02, -2.6327e-02,  ..., -5.5734e-03,\n",
      "           -1.5529e-02,  9.1239e-03]],\n",
      "\n",
      "         [[ 4.2498e-03,  2.7616e-02,  4.6988e-02,  ...,  9.7680e-03,\n",
      "           -9.5531e-03,  2.8921e-02],\n",
      "          [ 1.1225e-02, -7.8281e-03,  3.9431e-02,  ..., -3.4617e-02,\n",
      "            8.4288e-03,  1.7748e-02],\n",
      "          [-3.8063e-02,  4.2663e-04, -1.0201e-02,  ..., -1.1956e-02,\n",
      "            8.1572e-03, -2.5569e-02],\n",
      "          ...,\n",
      "          [-4.9562e-02, -2.6738e-02,  1.8649e-02,  ...,  3.4882e-02,\n",
      "            4.3108e-02,  1.6729e-02],\n",
      "          [ 4.4548e-02,  2.8457e-02,  1.3766e-02,  ...,  1.3402e-02,\n",
      "            2.1989e-02, -4.7898e-02],\n",
      "          [-3.7718e-02, -9.9365e-04, -3.6695e-02,  ...,  2.3524e-02,\n",
      "            4.7007e-02, -4.4931e-02]],\n",
      "\n",
      "         [[ 1.4216e-02,  2.8684e-02,  8.4309e-03,  ..., -2.9935e-02,\n",
      "           -4.7662e-02, -1.7288e-04],\n",
      "          [ 3.2079e-02, -4.0366e-02,  9.0042e-03,  ...,  4.6647e-02,\n",
      "            3.1750e-02,  1.8071e-02],\n",
      "          [-1.7403e-02,  6.5017e-03, -4.6684e-02,  ..., -2.6196e-02,\n",
      "           -2.3993e-02,  1.1455e-02],\n",
      "          ...,\n",
      "          [ 4.2638e-02, -1.1666e-02, -1.8284e-03,  ..., -1.1079e-02,\n",
      "           -1.2118e-02, -4.8835e-02],\n",
      "          [ 2.1472e-02, -2.6922e-02,  1.2759e-02,  ..., -9.8359e-03,\n",
      "            1.3357e-02, -4.3148e-02],\n",
      "          [ 3.4871e-02,  2.1267e-02, -1.8973e-02,  ..., -9.8340e-03,\n",
      "            8.8186e-03, -2.6732e-02]]],\n",
      "\n",
      "\n",
      "        [[[-4.1380e-02, -4.3495e-02,  2.2813e-02,  ...,  2.3210e-02,\n",
      "            5.0032e-02, -3.0763e-02],\n",
      "          [-2.0529e-02,  5.0299e-02,  1.7559e-03,  ...,  2.2520e-02,\n",
      "            1.3863e-02,  1.3087e-02],\n",
      "          [ 1.1008e-02, -2.6630e-03,  1.9168e-02,  ...,  4.3352e-02,\n",
      "            1.0109e-02,  5.1409e-07],\n",
      "          ...,\n",
      "          [-1.7537e-02,  4.8775e-02, -3.3083e-02,  ..., -1.3674e-02,\n",
      "            8.2834e-03,  3.0592e-02],\n",
      "          [-3.5888e-03, -3.5125e-02, -6.2793e-05,  ...,  5.2965e-03,\n",
      "           -4.3624e-02, -2.2663e-02],\n",
      "          [-4.8553e-02, -1.4353e-02,  3.9010e-02,  ..., -4.2149e-02,\n",
      "           -1.0617e-02, -2.1509e-02]],\n",
      "\n",
      "         [[ 2.7506e-02,  4.2269e-02, -8.6378e-03,  ...,  3.9062e-02,\n",
      "           -4.7912e-02,  1.1742e-02],\n",
      "          [ 4.6415e-02,  2.0507e-02, -3.1480e-02,  ..., -3.8141e-02,\n",
      "           -4.8133e-02,  4.1034e-03],\n",
      "          [ 4.1269e-02, -3.4530e-03, -1.8626e-04,  ..., -3.0581e-02,\n",
      "            2.3453e-02, -3.1688e-02],\n",
      "          ...,\n",
      "          [ 7.7962e-03, -4.3243e-02, -1.6182e-02,  ...,  2.0838e-02,\n",
      "           -2.7956e-02, -1.8186e-02],\n",
      "          [ 3.4282e-02,  2.3031e-02,  2.3289e-02,  ...,  1.6042e-02,\n",
      "           -1.0574e-02, -4.4367e-02],\n",
      "          [-3.7912e-04, -3.9968e-02,  3.7486e-02,  ..., -2.3133e-02,\n",
      "            4.4098e-02,  5.0071e-02]],\n",
      "\n",
      "         [[ 1.1344e-02,  1.3536e-02, -4.1616e-03,  ...,  6.2893e-03,\n",
      "           -1.7331e-02,  3.6801e-02],\n",
      "          [ 4.1547e-02,  6.2299e-03,  2.4104e-02,  ...,  1.1716e-02,\n",
      "           -2.7313e-02,  2.3650e-02],\n",
      "          [-9.6697e-03, -2.6987e-02,  2.0049e-02,  ..., -3.3415e-02,\n",
      "           -2.4655e-03, -4.2504e-02],\n",
      "          ...,\n",
      "          [ 2.7842e-02,  2.8118e-02,  3.3880e-02,  ..., -2.8464e-02,\n",
      "            2.3002e-02, -4.4407e-02],\n",
      "          [-8.3622e-03, -2.0541e-02,  2.2832e-02,  ..., -1.2496e-02,\n",
      "           -4.6781e-02, -2.2028e-02],\n",
      "          [-8.7279e-03,  1.2149e-02,  2.5452e-02,  ..., -5.0186e-02,\n",
      "            2.5923e-02, -4.6851e-02]]],\n",
      "\n",
      "\n",
      "        ...,\n",
      "\n",
      "\n",
      "        [[[ 4.1914e-02,  3.1550e-02,  3.8220e-02,  ...,  2.8965e-02,\n",
      "            3.3365e-03, -3.5961e-02],\n",
      "          [ 1.5142e-02, -2.7149e-02,  3.3485e-02,  ...,  2.0687e-02,\n",
      "            3.6166e-02,  3.8957e-02],\n",
      "          [ 3.5429e-02,  1.3339e-02, -4.7005e-02,  ...,  2.1591e-02,\n",
      "           -2.8735e-02, -5.3337e-03],\n",
      "          ...,\n",
      "          [ 2.6572e-02, -2.6010e-02,  6.8302e-03,  ...,  1.6141e-02,\n",
      "            4.0588e-02, -4.3640e-02],\n",
      "          [ 4.9014e-02,  3.9370e-02, -1.9924e-03,  ..., -1.1379e-03,\n",
      "           -2.3752e-02, -4.3845e-02],\n",
      "          [ 3.9856e-02, -3.0235e-02, -1.7899e-02,  ...,  1.9557e-02,\n",
      "           -3.2804e-02,  3.5257e-02]],\n",
      "\n",
      "         [[ 2.9360e-02, -5.1337e-02, -1.9057e-02,  ..., -1.3743e-02,\n",
      "            2.9414e-02, -4.6506e-02],\n",
      "          [-4.9256e-02,  2.0332e-02,  4.9844e-02,  ...,  1.0454e-02,\n",
      "            1.7048e-02,  3.9381e-02],\n",
      "          [ 2.7124e-02,  1.8512e-02, -4.6082e-02,  ...,  1.3873e-02,\n",
      "            3.4979e-02, -1.7818e-02],\n",
      "          ...,\n",
      "          [-6.8187e-03, -1.2751e-02, -3.4406e-02,  ..., -4.4308e-02,\n",
      "            2.3003e-02, -1.9990e-03],\n",
      "          [ 3.5793e-03, -4.8266e-02,  4.7155e-02,  ..., -3.2018e-02,\n",
      "           -2.7837e-02,  5.1730e-02],\n",
      "          [-5.0654e-03,  3.9996e-02, -2.0700e-02,  ..., -4.8879e-02,\n",
      "            4.8940e-02, -2.5582e-02]],\n",
      "\n",
      "         [[-4.4257e-02, -2.9264e-02, -3.9891e-03,  ..., -7.2387e-03,\n",
      "            3.1297e-02,  4.3982e-02],\n",
      "          [ 2.7980e-02,  3.2116e-02,  2.3894e-02,  ...,  9.6135e-03,\n",
      "           -2.9036e-02, -1.5896e-02],\n",
      "          [-2.5814e-03, -4.6036e-02,  5.2391e-02,  ...,  1.9164e-02,\n",
      "            5.1223e-02,  1.7695e-02],\n",
      "          ...,\n",
      "          [-5.1407e-02, -9.2324e-03, -4.4017e-02,  ...,  4.5579e-02,\n",
      "            1.7632e-02,  4.6455e-02],\n",
      "          [-7.3413e-03, -1.3792e-02, -1.3366e-02,  ..., -5.0207e-02,\n",
      "           -9.3834e-03,  5.7678e-04],\n",
      "          [ 6.2736e-03, -4.8724e-02,  4.5944e-02,  ..., -1.7630e-02,\n",
      "           -9.9952e-03, -4.8465e-02]]],\n",
      "\n",
      "\n",
      "        [[[-4.7833e-02,  1.0120e-02,  3.6353e-02,  ...,  1.6281e-02,\n",
      "            9.6100e-03, -3.1096e-02],\n",
      "          [ 3.5308e-02, -2.0674e-02,  8.6171e-03,  ..., -4.7595e-02,\n",
      "            2.0078e-02,  6.1869e-03],\n",
      "          [-4.6372e-03,  4.3402e-02, -3.2868e-02,  ..., -4.9518e-02,\n",
      "            4.6107e-02, -3.2579e-02],\n",
      "          ...,\n",
      "          [-2.2218e-02, -4.5483e-02,  1.1349e-02,  ..., -4.1348e-02,\n",
      "           -2.3996e-02, -4.1371e-03],\n",
      "          [ 6.3882e-03, -4.1900e-02,  8.4790e-03,  ...,  4.9693e-02,\n",
      "           -6.0692e-03,  8.7991e-03],\n",
      "          [-3.3741e-02, -4.8862e-02,  8.5295e-03,  ...,  2.0816e-02,\n",
      "           -2.2902e-03,  1.5166e-02]],\n",
      "\n",
      "         [[-5.1585e-02,  7.9197e-03, -2.8014e-02,  ...,  8.9845e-04,\n",
      "            3.0576e-03, -3.2956e-02],\n",
      "          [ 4.2688e-02, -2.9318e-02, -3.4836e-02,  ...,  2.3386e-02,\n",
      "           -4.3519e-04, -5.1562e-02],\n",
      "          [-9.4173e-04, -3.7532e-02,  4.1036e-02,  ...,  1.7417e-02,\n",
      "           -2.5466e-02,  4.2445e-02],\n",
      "          ...,\n",
      "          [ 3.2470e-02,  1.6003e-02, -3.0706e-02,  ..., -2.6296e-02,\n",
      "           -3.5516e-02, -2.9047e-02],\n",
      "          [-9.4464e-03,  3.7504e-02,  2.8947e-02,  ...,  3.5810e-03,\n",
      "           -1.6780e-02,  4.3446e-02],\n",
      "          [ 1.2550e-02,  3.0277e-02, -1.3498e-02,  ..., -2.0143e-03,\n",
      "           -1.3262e-02,  4.0179e-02]],\n",
      "\n",
      "         [[ 4.9963e-02, -1.8148e-02, -2.5185e-02,  ...,  1.5139e-02,\n",
      "            1.4046e-02, -2.4766e-02],\n",
      "          [-3.3891e-02, -8.5526e-03, -2.3045e-02,  ..., -5.0343e-02,\n",
      "            1.9817e-02, -1.2668e-02],\n",
      "          [ 3.5817e-02, -1.6925e-03,  2.9549e-02,  ...,  2.5924e-02,\n",
      "            6.0466e-03, -1.5563e-02],\n",
      "          ...,\n",
      "          [-4.6211e-02, -1.3106e-02,  3.8132e-02,  ...,  7.6084e-03,\n",
      "           -5.1425e-03,  3.8534e-02],\n",
      "          [-2.8185e-02, -1.0532e-02, -6.8569e-03,  ...,  4.8076e-02,\n",
      "           -3.5237e-02,  2.0553e-02],\n",
      "          [ 6.7039e-03, -3.5022e-02,  3.6764e-02,  ...,  5.0175e-02,\n",
      "            3.1577e-02,  3.0460e-02]]],\n",
      "\n",
      "\n",
      "        [[[-1.9383e-02, -1.6956e-02, -2.8763e-02,  ...,  2.5144e-02,\n",
      "           -3.3864e-03, -1.5513e-02],\n",
      "          [-3.2325e-02,  4.6343e-02, -4.6368e-02,  ..., -4.3597e-02,\n",
      "           -1.0386e-02, -4.0334e-02],\n",
      "          [-1.1903e-02, -3.9975e-03, -5.7469e-03,  ...,  1.8583e-02,\n",
      "            3.3712e-02,  4.2841e-02],\n",
      "          ...,\n",
      "          [ 1.0959e-02,  1.2046e-02,  4.4866e-02,  ..., -3.8689e-02,\n",
      "           -5.2477e-02,  1.7544e-02],\n",
      "          [-3.2401e-02, -1.1983e-02,  3.8973e-02,  ..., -4.9202e-02,\n",
      "            3.0957e-03, -2.7516e-02],\n",
      "          [-2.3429e-02,  4.6785e-02, -2.1470e-02,  ...,  2.3764e-02,\n",
      "            1.9304e-02,  4.9664e-02]],\n",
      "\n",
      "         [[-4.9954e-02,  4.1962e-03, -4.4649e-02,  ...,  4.6560e-02,\n",
      "            2.4801e-02,  1.9634e-02],\n",
      "          [ 1.9318e-03, -4.3077e-02,  3.8733e-02,  ...,  4.3683e-03,\n",
      "            5.1849e-03,  2.1481e-02],\n",
      "          [ 7.0792e-04,  2.3134e-02, -2.0094e-02,  ...,  4.0719e-02,\n",
      "           -3.4117e-02, -2.3258e-02],\n",
      "          ...,\n",
      "          [-4.6899e-02,  4.8671e-03,  1.1349e-02,  ...,  3.0513e-02,\n",
      "           -2.1756e-02,  3.0686e-02],\n",
      "          [-5.0216e-02,  3.8225e-02,  8.4583e-03,  ...,  3.0446e-02,\n",
      "           -4.4422e-02,  4.6932e-02],\n",
      "          [-3.6087e-02, -3.1297e-02, -3.4776e-02,  ...,  3.7401e-02,\n",
      "            3.6306e-02, -4.7905e-02]],\n",
      "\n",
      "         [[ 4.7854e-02,  4.9741e-02, -2.7939e-02,  ...,  4.6380e-02,\n",
      "           -1.5106e-02, -4.1419e-02],\n",
      "          [ 1.6273e-02, -4.7528e-02, -3.5668e-02,  ..., -9.9591e-03,\n",
      "            3.5029e-02, -4.9648e-02],\n",
      "          [-4.7049e-02, -3.9461e-02, -5.1501e-02,  ...,  1.1834e-03,\n",
      "            4.8516e-03, -2.7351e-02],\n",
      "          ...,\n",
      "          [-5.0312e-02,  2.3110e-02, -8.6504e-03,  ...,  5.2163e-02,\n",
      "           -1.8911e-02, -3.8577e-02],\n",
      "          [ 5.2563e-03,  4.3320e-02,  1.3993e-02,  ...,  1.2372e-02,\n",
      "            2.2929e-02, -5.1364e-02],\n",
      "          [ 1.1558e-02,  4.4666e-03, -1.2614e-02,  ..., -5.2557e-04,\n",
      "           -2.9037e-02,  1.0856e-02]]]])\n",
      "\n",
      "features.0.bias\n",
      "tensor([ 0.0392, -0.0024,  0.0299, -0.0210,  0.0293, -0.0104, -0.0178, -0.0187,\n",
      "        -0.0400, -0.0194, -0.0341, -0.0312,  0.0420, -0.0333, -0.0168, -0.0185,\n",
      "        -0.0231, -0.0507,  0.0272,  0.0223,  0.0324, -0.0131, -0.0262, -0.0410,\n",
      "        -0.0056, -0.0244,  0.0324,  0.0280, -0.0052, -0.0091, -0.0053, -0.0520,\n",
      "         0.0027,  0.0465, -0.0191, -0.0005, -0.0314, -0.0030, -0.0029,  0.0216,\n",
      "        -0.0344,  0.0377, -0.0157, -0.0072,  0.0114,  0.0446,  0.0414,  0.0241,\n",
      "        -0.0058, -0.0391, -0.0045, -0.0435, -0.0328,  0.0495, -0.0146, -0.0503,\n",
      "        -0.0141, -0.0453, -0.0206,  0.0079, -0.0411, -0.0300,  0.0460, -0.0116])\n",
      "\n",
      "features.3.weight\n",
      "tensor([[[[ 1.1505e-02, -1.4420e-02, -2.1293e-02,  1.9560e-02, -4.8119e-03],\n",
      "          [ 4.9005e-03,  4.5085e-03,  4.3063e-03, -2.4238e-02, -2.1644e-02],\n",
      "          [ 1.9686e-03,  6.9030e-03,  2.0218e-03,  7.8382e-03,  2.7638e-04],\n",
      "          [ 4.1248e-03, -1.8392e-02, -1.6870e-02, -1.8174e-02,  8.9844e-03],\n",
      "          [ 7.5150e-03, -6.4430e-03,  2.1965e-02,  6.4950e-04, -1.5599e-02]],\n",
      "\n",
      "         [[ 8.9957e-03,  9.8189e-03,  1.6136e-02, -8.3012e-03,  1.7081e-02],\n",
      "          [ 1.8278e-02,  1.9771e-02,  4.9539e-03, -7.5876e-03,  1.8912e-02],\n",
      "          [-1.9920e-02, -1.1393e-02,  6.4110e-03, -1.3985e-02, -8.0309e-03],\n",
      "          [ 3.3661e-03, -2.3831e-02, -7.1703e-04, -1.4425e-02, -1.4168e-02],\n",
      "          [ 1.2663e-02,  1.1868e-02,  1.3105e-02,  5.1822e-04, -3.2150e-03]],\n",
      "\n",
      "         [[-1.0547e-02,  2.1521e-02, -1.6783e-02, -6.1221e-03,  5.9743e-03],\n",
      "          [-2.2369e-02,  1.7471e-02, -1.9709e-03,  6.2661e-03,  4.1660e-03],\n",
      "          [ 1.2551e-02, -1.8853e-02,  1.8138e-02, -9.1828e-03, -9.5036e-03],\n",
      "          [ 1.4325e-02,  1.3793e-02,  3.8376e-04, -5.5464e-03, -1.4174e-02],\n",
      "          [ 1.8924e-02,  1.4054e-02, -8.8438e-03,  4.7308e-03, -2.4872e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 1.7488e-02,  2.5028e-03,  2.3201e-02,  6.4278e-03,  1.3620e-02],\n",
      "          [-1.3110e-02,  1.7895e-02, -1.4133e-02, -1.0461e-02, -2.4790e-03],\n",
      "          [ 4.6051e-03, -1.4597e-02,  1.8035e-02, -1.7718e-02,  3.5793e-03],\n",
      "          [ 3.4578e-03,  4.2965e-03,  2.3837e-02, -1.6852e-02,  2.0047e-02],\n",
      "          [-1.4521e-02,  2.4618e-02, -1.4616e-02,  1.9440e-02, -2.2774e-03]],\n",
      "\n",
      "         [[-8.1581e-03,  7.8183e-03,  1.9085e-02,  3.1564e-03, -1.5217e-02],\n",
      "          [-1.6216e-02,  1.0002e-02, -4.1293e-04,  2.0516e-02, -6.3520e-03],\n",
      "          [-1.3022e-02,  1.8982e-02,  1.6466e-03, -1.8676e-02,  4.8255e-04],\n",
      "          [-2.2706e-02, -1.2817e-02,  3.3203e-03,  3.3783e-03,  1.0009e-02],\n",
      "          [ 2.2557e-02,  2.4783e-02,  1.4958e-02,  2.1218e-02,  3.2364e-03]],\n",
      "\n",
      "         [[-1.9455e-02, -9.5785e-03,  7.3171e-03,  1.9059e-02, -2.2135e-02],\n",
      "          [ 5.1895e-03,  8.4788e-04, -6.6650e-03, -1.3077e-02,  1.3787e-02],\n",
      "          [-9.6086e-03,  1.2965e-02,  1.1380e-02,  1.0116e-03,  6.1142e-04],\n",
      "          [-1.3506e-02, -1.7690e-02,  2.5887e-03,  1.5301e-02,  1.2200e-02],\n",
      "          [ 2.4619e-02,  7.8868e-03, -1.5364e-02, -5.0611e-03, -9.8635e-03]]],\n",
      "\n",
      "\n",
      "        [[[ 1.4891e-02,  1.4084e-02,  9.0132e-03,  9.6214e-03, -1.1669e-02],\n",
      "          [-3.3044e-03,  1.4453e-02,  1.0968e-02, -8.4832e-03, -5.1329e-03],\n",
      "          [-1.0410e-02, -9.5895e-03, -2.1901e-02, -1.0441e-02, -8.2438e-03],\n",
      "          [-1.9945e-02,  1.3731e-02, -2.4110e-02,  1.3800e-02, -1.3541e-03],\n",
      "          [-1.5577e-02, -4.4498e-03, -2.2095e-02,  2.4134e-02,  6.5705e-03]],\n",
      "\n",
      "         [[-1.7295e-02, -4.7779e-03,  4.3851e-03,  1.6894e-02, -4.0932e-03],\n",
      "          [ 1.4352e-02, -5.5928e-03,  2.3641e-02,  7.9693e-03,  8.4698e-04],\n",
      "          [ 1.0622e-02,  5.6477e-03,  8.6775e-03, -9.5206e-03, -1.7178e-02],\n",
      "          [-5.5594e-03,  2.2194e-03,  1.3213e-02,  1.2814e-02, -2.2177e-02],\n",
      "          [-1.0857e-02,  2.0855e-02, -1.3981e-02,  2.4560e-02,  2.0664e-03]],\n",
      "\n",
      "         [[ 1.3275e-02, -3.0244e-03,  2.4810e-02, -9.4538e-03, -2.4203e-02],\n",
      "          [-1.3261e-02, -6.2631e-03,  1.7355e-02, -1.6976e-02,  1.8821e-02],\n",
      "          [ 1.9517e-02,  1.4514e-02,  1.1311e-02,  1.8470e-02,  1.7949e-02],\n",
      "          [-1.8549e-02,  3.5121e-03, -1.9381e-02, -1.9956e-02,  9.4341e-03],\n",
      "          [-2.4925e-02,  3.1742e-03,  1.3897e-02, -2.0431e-02, -1.6603e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 1.9554e-02,  1.5489e-02, -1.5638e-03, -1.9055e-02,  5.6665e-05],\n",
      "          [-1.1649e-02, -1.8210e-02, -2.3195e-02,  1.9938e-03, -8.6952e-03],\n",
      "          [ 8.2020e-03,  6.1635e-05,  2.2101e-02, -2.0751e-02, -1.1908e-04],\n",
      "          [ 4.9675e-03, -2.2696e-02,  4.2466e-03,  1.6507e-02, -2.3162e-02],\n",
      "          [ 1.4727e-02, -1.9878e-03, -7.8927e-03, -6.4343e-03, -1.1035e-02]],\n",
      "\n",
      "         [[ 7.3820e-03, -2.7098e-03,  7.7534e-03, -1.5418e-02,  3.3597e-03],\n",
      "          [-8.5397e-03, -1.7201e-02,  1.4436e-02, -9.5450e-03,  1.7202e-02],\n",
      "          [ 1.5896e-02, -1.5766e-02, -2.1005e-02,  4.7636e-03, -7.5491e-03],\n",
      "          [-1.0111e-02,  9.2793e-03, -5.5710e-03,  2.1209e-02,  1.8112e-02],\n",
      "          [-5.0940e-03, -1.3120e-02,  1.3160e-02, -2.6303e-03, -1.5282e-02]],\n",
      "\n",
      "         [[-8.4736e-03, -2.4129e-03, -8.1166e-03, -1.0315e-03, -1.0567e-02],\n",
      "          [-8.1684e-03, -9.8634e-03,  1.3215e-02, -6.3120e-03, -1.9601e-03],\n",
      "          [-2.4500e-02, -1.6757e-02, -1.0125e-02, -1.4985e-02,  1.6655e-02],\n",
      "          [-1.5075e-03, -3.7951e-03,  1.2874e-02, -3.3862e-03, -2.0833e-02],\n",
      "          [ 4.3700e-03,  6.2674e-03,  4.6590e-03,  7.9198e-03,  5.5902e-04]]],\n",
      "\n",
      "\n",
      "        [[[-1.0786e-02,  2.0066e-02, -2.1598e-02, -2.2317e-02,  5.1411e-03],\n",
      "          [ 9.0159e-03, -5.9955e-03, -1.6983e-03, -2.3887e-02, -6.3302e-03],\n",
      "          [-5.3058e-03, -4.7357e-03,  4.7835e-03,  2.6330e-03, -2.2721e-03],\n",
      "          [ 6.8291e-03, -1.6652e-02, -3.5625e-03,  1.5481e-03,  6.2714e-03],\n",
      "          [ 2.1961e-02, -1.8149e-02, -9.1545e-03, -1.2376e-02,  6.8619e-03]],\n",
      "\n",
      "         [[ 1.0227e-02,  2.0822e-02, -2.3259e-02, -1.8684e-02, -2.4064e-02],\n",
      "          [ 1.0319e-04,  3.6872e-03, -7.3166e-03, -1.1967e-04, -9.7407e-03],\n",
      "          [ 1.1472e-02,  1.0946e-02,  2.2755e-02, -1.0207e-02,  1.8205e-02],\n",
      "          [ 1.5307e-02, -2.4444e-02,  1.0505e-02,  1.3343e-03, -2.2910e-02],\n",
      "          [ 2.9944e-03, -2.0648e-02,  1.3281e-02, -1.4412e-02,  5.5357e-03]],\n",
      "\n",
      "         [[ 6.8644e-03, -2.1984e-02,  4.9732e-03,  5.9649e-03, -3.0757e-03],\n",
      "          [-4.3674e-03, -8.3012e-03,  1.4548e-02,  1.8319e-02, -1.4899e-02],\n",
      "          [-1.3408e-02,  8.0217e-03, -2.0721e-02,  9.2853e-03, -8.9777e-03],\n",
      "          [-1.5080e-02,  4.4501e-03, -3.6134e-03,  1.1505e-02, -1.8607e-02],\n",
      "          [-1.2322e-02,  2.4765e-02, -1.1479e-02,  2.3968e-02,  1.7909e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-1.2818e-02,  4.5245e-03, -7.2059e-04,  6.8500e-03, -1.9972e-02],\n",
      "          [ 1.2900e-02, -2.0863e-02,  8.0062e-03,  7.7761e-04, -2.4974e-02],\n",
      "          [ 5.5719e-03,  1.0507e-02,  2.4081e-02, -1.9239e-02, -1.1151e-02],\n",
      "          [-1.8699e-02, -9.4941e-03, -9.5185e-03,  2.6555e-03, -1.3238e-02],\n",
      "          [ 2.1933e-02,  2.3977e-02, -1.3028e-02, -2.3041e-02,  6.0786e-03]],\n",
      "\n",
      "         [[-1.3029e-02,  1.0123e-02,  9.4102e-03,  1.9618e-02,  2.3225e-02],\n",
      "          [ 4.6343e-03, -2.3517e-02,  1.8367e-02,  2.4489e-02, -1.0446e-02],\n",
      "          [-8.4237e-03, -2.1432e-02,  5.4087e-03, -5.0043e-03,  9.2826e-03],\n",
      "          [ 1.1726e-02,  8.8157e-03,  1.6053e-02,  2.0940e-02,  1.1954e-02],\n",
      "          [ 7.0324e-04,  2.0140e-02,  1.0263e-02,  1.2085e-02,  8.6771e-03]],\n",
      "\n",
      "         [[ 1.1873e-02,  2.0442e-02, -1.8248e-02,  2.2735e-02, -2.2802e-02],\n",
      "          [ 1.3191e-02, -9.7653e-03,  1.9050e-02,  1.0293e-02,  3.6917e-03],\n",
      "          [-2.4954e-02, -2.0054e-02,  1.7564e-03, -9.7001e-03,  2.3225e-02],\n",
      "          [ 1.8995e-02,  2.0717e-03, -8.5799e-03,  1.4553e-03,  2.3221e-02],\n",
      "          [-1.8097e-02, -2.3516e-02,  9.5409e-03, -1.6581e-02,  2.4511e-03]]],\n",
      "\n",
      "\n",
      "        ...,\n",
      "\n",
      "\n",
      "        [[[ 2.2572e-02, -6.3873e-03,  6.4094e-03,  1.7428e-02,  9.7656e-03],\n",
      "          [-1.7166e-02, -1.7388e-02, -2.1177e-02, -8.4355e-03,  1.8098e-03],\n",
      "          [ 1.2153e-02, -1.6197e-02, -3.7110e-03,  1.2965e-03,  1.5037e-02],\n",
      "          [-1.3589e-02, -1.4619e-03,  1.0188e-03,  3.9663e-03, -2.0844e-02],\n",
      "          [-2.2243e-02,  9.7528e-03, -1.6163e-02,  2.5979e-03,  1.6299e-02]],\n",
      "\n",
      "         [[-6.4783e-03,  1.8946e-02,  7.3624e-03, -8.3502e-03,  1.1608e-04],\n",
      "          [-2.4343e-02,  1.2462e-02,  9.9232e-03, -2.1640e-02, -1.9641e-02],\n",
      "          [-1.3821e-03,  2.2952e-02,  2.1568e-02,  1.2465e-02,  9.3749e-03],\n",
      "          [ 1.2932e-02, -2.0987e-02,  6.2706e-03, -1.1098e-02, -2.6667e-03],\n",
      "          [ 1.6523e-02, -2.0353e-03, -8.0782e-04,  5.1047e-03,  4.9316e-03]],\n",
      "\n",
      "         [[ 2.4216e-02, -1.9016e-02, -1.6395e-02, -2.2859e-02, -1.5923e-02],\n",
      "          [ 6.2243e-03, -1.9156e-02,  8.9832e-03, -6.9358e-03,  6.5324e-04],\n",
      "          [ 1.6398e-02, -1.6262e-02,  1.5666e-02,  1.9515e-02, -1.3149e-02],\n",
      "          [-1.0694e-02, -1.7952e-02, -1.3146e-02,  5.6977e-03,  2.4435e-02],\n",
      "          [-2.4614e-02, -1.0941e-02,  1.7535e-02,  1.1933e-02, -2.5591e-04]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-2.0097e-02,  7.6957e-03, -2.2468e-02, -1.3413e-02, -1.3826e-02],\n",
      "          [ 6.7215e-04,  4.4907e-03, -1.2894e-03, -6.8402e-03,  2.2015e-03],\n",
      "          [-2.4303e-03, -8.5107e-04,  2.1954e-02,  7.9651e-03,  1.5070e-02],\n",
      "          [ 1.6070e-02, -1.4337e-02,  2.2730e-02, -1.8911e-02, -2.2685e-02],\n",
      "          [ 1.9708e-02, -2.3771e-03,  2.1369e-02,  1.0738e-02, -9.8189e-04]],\n",
      "\n",
      "         [[-6.2127e-04, -2.4493e-02,  2.3668e-02, -1.3890e-02, -8.8735e-03],\n",
      "          [ 2.3456e-02,  1.8154e-02, -2.0894e-02, -5.3221e-05,  1.0896e-02],\n",
      "          [ 7.7972e-03,  2.3137e-02,  1.9797e-02,  7.1247e-03,  2.4160e-03],\n",
      "          [-1.9344e-02, -2.3895e-02,  1.2990e-02, -6.9512e-03, -1.1661e-02],\n",
      "          [ 1.4855e-02,  3.2573e-03,  1.5015e-02, -1.6339e-02, -1.9458e-02]],\n",
      "\n",
      "         [[ 2.3290e-03,  1.1148e-02, -7.3449e-03,  1.2006e-02,  9.0544e-03],\n",
      "          [ 1.2750e-02, -1.0065e-02,  1.7030e-02, -2.1337e-02,  2.6740e-03],\n",
      "          [-4.4063e-04,  1.8096e-02, -1.1136e-02,  5.7891e-03,  1.4707e-02],\n",
      "          [ 2.2484e-02,  4.6100e-03,  1.1937e-02, -2.1969e-02, -4.0494e-03],\n",
      "          [-1.0252e-02,  1.3551e-02, -1.7996e-02,  8.2473e-03, -1.6299e-02]]],\n",
      "\n",
      "\n",
      "        [[[-2.9939e-03, -1.8285e-02, -1.5477e-02, -8.4315e-03, -2.8333e-03],\n",
      "          [-2.0508e-02,  1.3670e-02,  1.5898e-03,  2.6702e-03, -6.5892e-03],\n",
      "          [ 1.6997e-02,  1.8008e-03,  1.9615e-02, -1.3901e-02, -5.1044e-03],\n",
      "          [ 8.9033e-03,  2.0078e-02, -1.9825e-02,  1.1155e-02, -5.1725e-03],\n",
      "          [-1.2290e-02, -2.1186e-02,  2.4951e-02,  5.4464e-03,  1.0810e-02]],\n",
      "\n",
      "         [[-2.0082e-02, -1.5601e-02,  1.5037e-03,  4.0343e-03,  1.6783e-02],\n",
      "          [ 5.9789e-03,  9.0563e-03, -2.4741e-02, -1.7636e-02,  1.2784e-03],\n",
      "          [ 5.3029e-03,  7.2706e-03, -1.2372e-03,  2.0078e-02, -2.5121e-03],\n",
      "          [-5.2368e-04, -9.7484e-03,  2.3116e-02,  3.8989e-03,  1.4202e-03],\n",
      "          [ 2.4997e-02,  5.9244e-03,  2.2529e-02,  6.6331e-03,  8.1810e-03]],\n",
      "\n",
      "         [[-9.6736e-03, -2.0930e-02, -1.3599e-02,  3.5795e-03,  2.4895e-02],\n",
      "          [-2.2369e-02, -3.5409e-04, -6.9557e-03, -2.9663e-03,  8.1906e-03],\n",
      "          [-1.9897e-02,  6.2396e-03, -2.7331e-03,  9.2877e-03, -1.1431e-03],\n",
      "          [-5.0635e-03, -1.0531e-02,  4.7816e-03,  1.2854e-02, -2.1039e-02],\n",
      "          [ 1.7683e-02,  1.5265e-02,  2.3657e-02, -5.9057e-03, -1.2111e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 3.1214e-03, -2.4655e-02, -2.3066e-02, -1.0441e-02, -1.0444e-03],\n",
      "          [ 9.7380e-03, -2.6026e-04, -2.3150e-02, -8.8150e-03,  6.0555e-03],\n",
      "          [-3.0622e-03,  1.6987e-02,  2.2262e-02,  3.6782e-03, -1.8293e-02],\n",
      "          [ 6.8290e-03, -2.4755e-02,  1.5323e-02,  1.7927e-02, -3.9559e-03],\n",
      "          [-6.8385e-03, -2.4668e-04, -1.6967e-02,  3.7504e-03,  1.8118e-02]],\n",
      "\n",
      "         [[ 4.3709e-03, -2.3031e-02,  2.0926e-02, -5.6713e-03, -1.2656e-02],\n",
      "          [-1.4763e-03,  1.7075e-02, -1.3080e-02, -1.5559e-02,  2.4122e-02],\n",
      "          [-1.9922e-02, -1.6606e-02, -2.0451e-02,  8.5172e-03, -1.0585e-02],\n",
      "          [-1.9879e-02,  1.6314e-02, -2.1310e-02,  1.1905e-03,  1.4728e-02],\n",
      "          [ 7.6698e-03, -6.2057e-03, -1.5770e-02, -3.0436e-03,  1.0956e-02]],\n",
      "\n",
      "         [[ 4.7780e-03, -1.7223e-02,  2.0229e-02,  1.5082e-03,  7.8524e-03],\n",
      "          [ 1.6842e-03,  2.1604e-03, -2.0482e-02,  6.1306e-03, -1.6930e-02],\n",
      "          [ 1.8083e-02, -1.9976e-02,  2.2770e-02, -5.6191e-03,  3.4907e-03],\n",
      "          [-1.1767e-02, -9.4664e-03, -1.5820e-02,  2.4483e-02,  1.0603e-02],\n",
      "          [-3.3210e-03, -1.1392e-02,  1.3598e-02,  6.6043e-03, -4.5944e-03]]],\n",
      "\n",
      "\n",
      "        [[[ 2.1227e-02, -7.4483e-03,  1.8122e-02, -1.8655e-02,  1.5878e-02],\n",
      "          [-1.9748e-02,  8.1355e-03,  5.8539e-03, -1.5585e-03,  1.8869e-02],\n",
      "          [ 1.3454e-03,  1.1341e-02, -2.3069e-02, -1.6365e-02, -8.0744e-03],\n",
      "          [ 2.4142e-02, -1.1897e-02, -4.9799e-03, -2.0542e-02,  2.9797e-04],\n",
      "          [ 1.4668e-02, -1.5147e-02,  3.3806e-03,  2.3113e-02, -2.4872e-02]],\n",
      "\n",
      "         [[ 1.9103e-02, -2.4373e-02,  1.1770e-02,  1.2445e-02,  2.3086e-02],\n",
      "          [ 1.5055e-03, -6.3933e-03,  2.1397e-02,  4.2702e-03, -1.5548e-02],\n",
      "          [-1.0487e-02,  8.3569e-03, -1.7946e-02, -5.4269e-03,  1.1586e-02],\n",
      "          [ 7.5523e-03,  1.4341e-02,  2.2594e-02,  1.5906e-02, -2.6418e-03],\n",
      "          [ 9.0113e-04,  1.3764e-03,  1.1289e-02,  2.9307e-03, -3.9938e-03]],\n",
      "\n",
      "         [[-2.8185e-03,  1.3773e-03, -2.2233e-02,  3.8021e-03,  2.0866e-02],\n",
      "          [ 6.6277e-03,  2.3796e-02, -2.2744e-02,  1.2062e-02,  1.4321e-02],\n",
      "          [-8.5226e-03,  1.5811e-02, -1.3586e-02, -3.4949e-03, -3.4885e-04],\n",
      "          [-2.1700e-02,  2.3040e-02, -2.1706e-02,  1.4666e-02,  9.8106e-03],\n",
      "          [ 1.4101e-02, -7.5738e-03, -2.1345e-02, -1.9423e-02, -1.6796e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 1.3505e-02, -1.4209e-02,  1.4603e-02, -1.3294e-02,  1.5278e-02],\n",
      "          [ 8.9712e-03, -9.9867e-03,  1.2150e-02, -1.0880e-02, -1.1625e-03],\n",
      "          [-1.0533e-02, -1.6822e-02, -9.2903e-03,  1.6128e-02,  1.3798e-02],\n",
      "          [ 1.3213e-03,  1.1442e-02,  8.2529e-03, -1.0339e-02,  2.4297e-02],\n",
      "          [-3.1808e-03, -2.2238e-02, -7.8746e-03, -5.0144e-03,  1.8545e-02]],\n",
      "\n",
      "         [[-9.6278e-03, -1.0298e-02, -7.5221e-03,  2.0582e-02,  4.6359e-04],\n",
      "          [ 6.0353e-03,  1.2175e-02, -1.9320e-02, -2.8458e-03,  2.1984e-02],\n",
      "          [-1.4677e-02,  1.1589e-02, -1.7775e-02, -1.2273e-02, -2.1148e-03],\n",
      "          [-1.7261e-02,  1.8471e-02,  2.1345e-02, -6.7602e-03,  2.1896e-02],\n",
      "          [ 1.3037e-02,  2.7459e-03, -1.2253e-02, -1.8325e-02,  5.3005e-03]],\n",
      "\n",
      "         [[ 1.9326e-02,  1.1521e-02,  1.5407e-02,  6.4831e-03,  7.2955e-03],\n",
      "          [-1.0094e-02, -1.1542e-03, -2.4050e-02,  1.1062e-02,  7.3360e-03],\n",
      "          [-2.4636e-02, -3.8819e-04,  1.5990e-03, -6.1121e-03,  2.2280e-02],\n",
      "          [-9.4903e-03,  1.4123e-02, -4.6294e-03, -7.1378e-04,  2.3264e-02],\n",
      "          [ 2.4409e-02, -4.9887e-03,  1.7055e-03,  1.5249e-02, -3.2098e-03]]]])\n",
      "\n",
      "features.3.bias\n",
      "tensor([-1.6088e-02,  1.2039e-02,  1.7411e-02, -1.7742e-02, -2.1693e-02,\n",
      "         1.2292e-02,  3.9051e-03,  1.1782e-02,  7.8650e-03, -2.4937e-02,\n",
      "         1.1689e-02, -2.3691e-02, -8.7936e-03,  2.4354e-02, -1.1730e-02,\n",
      "        -2.2795e-02,  5.5155e-05,  1.2432e-02,  2.2453e-02, -2.2646e-03,\n",
      "         2.1281e-02,  1.7924e-02, -3.8788e-03, -1.1971e-02, -1.8984e-02,\n",
      "        -6.0974e-03, -1.5927e-02,  7.9036e-03,  2.1842e-02,  9.4174e-03,\n",
      "         2.1837e-02,  1.2645e-02, -1.2824e-02, -1.9782e-02,  1.4908e-02,\n",
      "        -9.4246e-03,  1.2110e-02, -6.5001e-03, -1.4236e-02,  1.2153e-02,\n",
      "         1.2341e-02,  1.6038e-02,  8.7574e-03,  1.7175e-03, -7.5995e-03,\n",
      "        -4.1340e-03, -9.4382e-03,  2.0593e-02,  1.6225e-02, -1.0759e-02,\n",
      "        -2.4969e-02, -1.2699e-02, -4.8678e-03,  1.7359e-02,  1.9392e-02,\n",
      "         7.9386e-03,  1.5686e-02,  1.2896e-02, -2.6584e-04,  1.3429e-02,\n",
      "         2.5147e-03,  2.5619e-03,  1.0491e-02,  2.1425e-02,  4.2147e-03,\n",
      "         1.9165e-02,  1.8512e-02, -1.8327e-02,  3.0362e-03, -2.2689e-02,\n",
      "         6.7350e-03,  2.2827e-02, -1.7699e-02, -2.0120e-02, -8.2031e-03,\n",
      "        -1.5086e-02,  1.0505e-03, -1.6438e-02, -1.0761e-02, -1.9365e-02,\n",
      "        -5.7578e-03, -1.3877e-02,  8.7337e-03, -7.3211e-03,  8.2559e-03,\n",
      "         2.2603e-02, -1.6389e-02, -8.3938e-03,  1.5600e-02, -4.4558e-03,\n",
      "         1.7786e-03, -1.7430e-02, -2.1833e-02,  1.0596e-02,  1.1753e-02,\n",
      "        -5.3792e-03,  1.0408e-02,  9.5079e-03, -2.4167e-02, -6.5866e-03,\n",
      "         4.1538e-03,  1.7589e-02,  8.9151e-03,  6.9150e-03, -3.3283e-03,\n",
      "         8.1492e-03, -1.2231e-02, -1.4692e-02,  8.3482e-03, -1.0295e-02,\n",
      "         1.5605e-02,  4.9607e-03,  1.7751e-02, -2.1188e-02,  8.3593e-03,\n",
      "         3.3454e-03,  5.0662e-03,  2.1913e-02,  1.8843e-02,  1.9887e-02,\n",
      "        -1.4876e-02, -1.8495e-02,  1.6213e-03,  6.2589e-03,  2.1467e-02,\n",
      "        -5.7178e-03,  7.3945e-03,  6.3596e-03, -1.9705e-02, -1.5885e-02,\n",
      "        -1.0897e-02, -1.5851e-02,  1.3519e-02, -1.3259e-02, -1.3337e-02,\n",
      "        -1.6303e-02, -1.4527e-02, -2.0879e-02, -3.9724e-03,  4.1820e-03,\n",
      "         1.5331e-02, -1.9200e-02, -4.4978e-03,  1.1970e-02,  7.8066e-04,\n",
      "         1.5241e-02, -2.3278e-03, -2.3857e-02, -7.5339e-03,  1.9260e-02,\n",
      "         1.7021e-02, -8.8032e-03,  1.6579e-02, -1.9424e-02, -1.3542e-03,\n",
      "        -1.6440e-02,  2.6181e-03, -1.6109e-02,  6.0691e-03,  2.0075e-02,\n",
      "         3.5478e-03, -3.1715e-03,  2.0790e-02, -1.3191e-02,  2.0255e-02,\n",
      "        -3.5881e-03,  1.5658e-03,  9.5895e-03,  2.5485e-03,  2.7256e-03,\n",
      "        -1.3330e-02,  1.4181e-02,  1.1284e-02,  1.8958e-02,  1.3348e-02,\n",
      "         1.1673e-02, -1.6215e-02,  7.8033e-03, -2.4229e-02, -1.7779e-02,\n",
      "        -5.8139e-03,  1.7100e-02,  4.5475e-03, -4.7855e-03,  1.3500e-02,\n",
      "         1.6064e-02, -1.0902e-03, -2.1467e-02,  7.2105e-03, -8.0859e-03,\n",
      "        -1.9307e-02,  5.8117e-03])\n",
      "\n",
      "features.6.weight\n",
      "tensor([[[[ 9.0179e-03,  7.7734e-03, -7.8603e-03],\n",
      "          [-2.0248e-02,  1.6211e-02,  6.9102e-03],\n",
      "          [ 1.6845e-02, -1.4548e-02, -1.9965e-02]],\n",
      "\n",
      "         [[ 2.3046e-02, -6.2899e-03,  3.4037e-03],\n",
      "          [ 3.6994e-03, -1.2809e-02, -9.9423e-03],\n",
      "          [ 3.6894e-03, -2.2786e-02, -2.2716e-03]],\n",
      "\n",
      "         [[ 6.0165e-03, -1.6270e-02,  1.2950e-02],\n",
      "          [ 3.2956e-03,  9.7836e-03, -7.4959e-03],\n",
      "          [-2.7208e-03,  2.0993e-02, -8.5307e-03]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-2.2506e-02,  1.8078e-02, -1.4250e-02],\n",
      "          [-3.6788e-03,  1.5455e-02,  1.5713e-02],\n",
      "          [ 1.4976e-02, -2.3435e-02, -1.8328e-02]],\n",
      "\n",
      "         [[ 8.2424e-04, -1.9119e-02, -2.2722e-02],\n",
      "          [ 1.1461e-02,  3.8485e-03, -2.2301e-02],\n",
      "          [-7.2488e-03, -1.6284e-02,  4.2580e-03]],\n",
      "\n",
      "         [[-1.4740e-04,  2.3358e-02,  3.7546e-04],\n",
      "          [ 6.3343e-05, -1.5184e-02, -3.1144e-03],\n",
      "          [ 3.0902e-03, -1.8075e-02, -5.8379e-03]]],\n",
      "\n",
      "\n",
      "        [[[-1.5594e-02,  1.0184e-02, -1.0299e-02],\n",
      "          [ 1.8246e-02, -1.5584e-03,  1.7478e-02],\n",
      "          [-1.3315e-02,  2.0481e-02,  9.9551e-03]],\n",
      "\n",
      "         [[ 5.7298e-03,  1.3603e-02, -1.7224e-02],\n",
      "          [ 2.1033e-02,  1.3770e-02,  1.4154e-02],\n",
      "          [-1.8258e-02,  4.8904e-03,  1.0373e-02]],\n",
      "\n",
      "         [[-1.7917e-02,  7.2657e-03, -1.5078e-02],\n",
      "          [ 2.0695e-03,  4.7374e-03, -6.7648e-03],\n",
      "          [-1.3849e-03, -1.3484e-02, -9.9539e-03]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-1.3402e-02, -2.0870e-02,  4.3574e-03],\n",
      "          [-1.7731e-02,  1.3813e-03,  2.3043e-02],\n",
      "          [-2.3907e-02, -1.4580e-02,  1.8608e-02]],\n",
      "\n",
      "         [[ 2.0930e-02, -1.2713e-02,  6.2853e-03],\n",
      "          [ 3.1695e-03,  2.3716e-02, -2.5126e-03],\n",
      "          [-1.9902e-02,  2.1908e-02,  2.2473e-02]],\n",
      "\n",
      "         [[-1.5519e-02,  3.3247e-03,  8.5399e-03],\n",
      "          [-7.4573e-03,  2.1162e-02,  5.6049e-03],\n",
      "          [-9.9533e-03,  1.8232e-02, -5.7299e-03]]],\n",
      "\n",
      "\n",
      "        [[[ 2.3042e-02, -2.7012e-03,  2.3727e-03],\n",
      "          [ 9.9029e-03,  2.0169e-02, -9.8846e-03],\n",
      "          [-4.6099e-03, -5.5010e-03, -1.2694e-02]],\n",
      "\n",
      "         [[-2.3634e-02, -2.8123e-03, -1.8220e-02],\n",
      "          [-1.0669e-02, -2.3936e-02,  3.5239e-03],\n",
      "          [ 2.2502e-02, -2.2613e-02,  2.2760e-02]],\n",
      "\n",
      "         [[ 1.5905e-02, -2.9162e-03,  7.2692e-03],\n",
      "          [-2.1916e-02,  1.8964e-03,  1.0216e-02],\n",
      "          [-1.9603e-02, -1.4744e-02, -2.0340e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-2.1520e-02,  1.2971e-02,  1.4040e-02],\n",
      "          [ 2.4468e-03,  9.5255e-03,  3.5051e-03],\n",
      "          [-2.9463e-03,  4.3771e-03,  1.5048e-02]],\n",
      "\n",
      "         [[-5.1101e-04, -2.0087e-02, -1.6810e-02],\n",
      "          [-5.6350e-03,  1.4126e-03,  2.1327e-02],\n",
      "          [-4.6068e-03,  2.2707e-02, -2.1107e-02]],\n",
      "\n",
      "         [[ 1.7043e-02,  7.4484e-03,  2.0328e-02],\n",
      "          [-2.0432e-02, -3.7492e-04,  9.7240e-03],\n",
      "          [-1.9254e-02, -8.9636e-03, -2.8569e-04]]],\n",
      "\n",
      "\n",
      "        ...,\n",
      "\n",
      "\n",
      "        [[[ 7.0445e-03,  1.1551e-02, -3.5802e-03],\n",
      "          [ 4.6044e-03,  1.1874e-04, -3.5163e-03],\n",
      "          [-6.3675e-03, -9.3751e-03, -1.4676e-02]],\n",
      "\n",
      "         [[-4.2290e-03,  4.0348e-03, -5.0793e-03],\n",
      "          [-1.7695e-02,  1.7485e-02, -1.9816e-02],\n",
      "          [ 1.4889e-02,  1.2145e-02,  2.9276e-03]],\n",
      "\n",
      "         [[ 2.2334e-02,  1.7568e-02,  2.2216e-02],\n",
      "          [ 2.0568e-02, -1.4351e-03,  5.5799e-04],\n",
      "          [-1.3255e-02,  1.6007e-02,  7.3383e-03]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-1.8161e-02, -1.0604e-02, -2.8067e-03],\n",
      "          [ 1.5750e-02,  1.6309e-02,  9.0445e-03],\n",
      "          [ 2.3745e-02, -2.0959e-02, -8.4546e-03]],\n",
      "\n",
      "         [[-7.1790e-03, -2.3097e-02,  1.6269e-02],\n",
      "          [ 1.7313e-02,  5.2663e-03,  3.5970e-03],\n",
      "          [ 1.8548e-02,  2.0970e-02, -1.1625e-02]],\n",
      "\n",
      "         [[ 6.2710e-03,  9.4968e-04,  1.9035e-02],\n",
      "          [ 1.4852e-02,  1.9325e-02,  9.7347e-04],\n",
      "          [ 1.2731e-02, -3.4839e-03, -3.5919e-03]]],\n",
      "\n",
      "\n",
      "        [[[ 1.4628e-03,  1.1221e-02, -1.2411e-02],\n",
      "          [-3.7641e-03, -1.9819e-02, -2.2042e-02],\n",
      "          [ 1.8637e-02, -1.0256e-02, -6.8888e-03]],\n",
      "\n",
      "         [[ 8.4889e-03,  8.1024e-03,  1.3011e-03],\n",
      "          [-1.0103e-02,  1.0466e-02,  4.5475e-03],\n",
      "          [-8.1557e-03, -1.5851e-02,  1.3039e-02]],\n",
      "\n",
      "         [[-2.0194e-02,  2.2809e-02, -1.4417e-02],\n",
      "          [-2.3870e-02, -1.7442e-02,  1.1988e-02],\n",
      "          [ 1.5847e-02,  1.8172e-02,  4.3777e-03]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 1.9720e-02, -1.8476e-02,  2.1710e-02],\n",
      "          [-9.2038e-03,  3.4867e-03, -2.3416e-02],\n",
      "          [-2.1458e-02, -1.6746e-02, -3.6761e-03]],\n",
      "\n",
      "         [[ 1.9921e-02,  9.3646e-03,  5.1223e-04],\n",
      "          [-5.0882e-03,  3.9980e-03, -2.0355e-03],\n",
      "          [ 1.6206e-02, -2.3319e-02,  9.8274e-03]],\n",
      "\n",
      "         [[-8.4110e-03,  1.1283e-02,  1.0804e-02],\n",
      "          [ 6.4851e-03, -4.2336e-03,  6.5268e-03],\n",
      "          [ 1.4916e-02, -1.6921e-02,  1.6405e-02]]],\n",
      "\n",
      "\n",
      "        [[[ 1.4087e-02, -2.2747e-02,  2.7184e-03],\n",
      "          [ 8.9491e-03,  5.8464e-03,  1.1951e-02],\n",
      "          [ 1.5316e-02, -3.5316e-03,  1.9344e-02]],\n",
      "\n",
      "         [[-2.0146e-02,  3.6500e-03, -6.9457e-03],\n",
      "          [-1.7125e-02, -1.4517e-02, -1.2962e-02],\n",
      "          [-1.0498e-02,  7.5631e-03, -1.7568e-02]],\n",
      "\n",
      "         [[-1.0327e-02, -1.5995e-02, -2.2354e-02],\n",
      "          [ 1.4037e-02, -1.0203e-02,  2.3242e-03],\n",
      "          [ 8.0876e-03,  1.7278e-02,  1.1091e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 1.7323e-02, -2.1469e-02,  1.1548e-02],\n",
      "          [-2.3173e-02,  4.7131e-03, -1.9071e-02],\n",
      "          [ 1.4088e-02,  1.7253e-02, -2.2694e-02]],\n",
      "\n",
      "         [[ 3.2200e-03, -1.8382e-02, -1.5429e-02],\n",
      "          [-1.1752e-02, -1.3928e-02,  4.5326e-03],\n",
      "          [-2.2100e-02,  2.2368e-02, -5.8840e-03]],\n",
      "\n",
      "         [[ 1.6333e-02, -1.6164e-02,  4.0363e-04],\n",
      "          [ 1.3206e-02, -1.4710e-02,  1.5649e-02],\n",
      "          [-2.0707e-02, -7.8384e-03,  2.0472e-02]]]])\n",
      "\n",
      "features.6.bias\n",
      "tensor([-0.0224, -0.0215, -0.0234, -0.0204,  0.0066,  0.0196, -0.0072,  0.0077,\n",
      "        -0.0039, -0.0157, -0.0036, -0.0024,  0.0015, -0.0191, -0.0175,  0.0049,\n",
      "         0.0223, -0.0072,  0.0019,  0.0204,  0.0215,  0.0189,  0.0235,  0.0206,\n",
      "         0.0190, -0.0090,  0.0103, -0.0136,  0.0133, -0.0099, -0.0060,  0.0148,\n",
      "        -0.0205, -0.0084,  0.0238,  0.0170, -0.0032, -0.0145, -0.0200, -0.0126,\n",
      "         0.0211, -0.0019, -0.0146,  0.0145, -0.0030, -0.0066, -0.0099, -0.0034,\n",
      "         0.0149, -0.0216, -0.0238, -0.0239,  0.0118,  0.0201, -0.0090, -0.0109,\n",
      "        -0.0226,  0.0056, -0.0167,  0.0198,  0.0052,  0.0086, -0.0126,  0.0089,\n",
      "        -0.0116,  0.0006,  0.0162,  0.0014, -0.0133,  0.0237,  0.0236, -0.0073,\n",
      "        -0.0003, -0.0205, -0.0097,  0.0045,  0.0053,  0.0055, -0.0221,  0.0037,\n",
      "         0.0021,  0.0126,  0.0118,  0.0232,  0.0194,  0.0126, -0.0101, -0.0132,\n",
      "        -0.0177,  0.0017, -0.0122, -0.0104, -0.0180,  0.0006, -0.0211,  0.0109,\n",
      "         0.0235, -0.0166, -0.0151,  0.0049,  0.0050,  0.0033, -0.0085, -0.0106,\n",
      "        -0.0048,  0.0081,  0.0131, -0.0022,  0.0124,  0.0232,  0.0086,  0.0060,\n",
      "         0.0044, -0.0133,  0.0197,  0.0078,  0.0238,  0.0204,  0.0102,  0.0125,\n",
      "         0.0018, -0.0034,  0.0206, -0.0137, -0.0027,  0.0051, -0.0120,  0.0055,\n",
      "        -0.0132, -0.0094,  0.0157,  0.0236,  0.0057,  0.0155,  0.0165, -0.0203,\n",
      "        -0.0163,  0.0222, -0.0184, -0.0156,  0.0217,  0.0058,  0.0193, -0.0018,\n",
      "        -0.0116,  0.0143, -0.0173, -0.0130,  0.0168,  0.0035, -0.0098, -0.0134,\n",
      "         0.0068,  0.0178, -0.0048, -0.0082, -0.0170, -0.0155,  0.0118, -0.0108,\n",
      "         0.0058,  0.0005,  0.0187, -0.0130,  0.0161, -0.0038,  0.0198,  0.0013,\n",
      "        -0.0087,  0.0036,  0.0076, -0.0073, -0.0045,  0.0207,  0.0144, -0.0057,\n",
      "        -0.0065, -0.0175,  0.0126, -0.0111, -0.0220,  0.0141, -0.0147,  0.0074,\n",
      "        -0.0107,  0.0012, -0.0167,  0.0236,  0.0112,  0.0011, -0.0193, -0.0194,\n",
      "        -0.0137, -0.0055, -0.0115,  0.0213,  0.0051,  0.0100, -0.0024,  0.0155,\n",
      "         0.0122,  0.0031,  0.0069,  0.0128,  0.0054, -0.0041,  0.0218, -0.0054,\n",
      "        -0.0048,  0.0159, -0.0024, -0.0124, -0.0005, -0.0005, -0.0051, -0.0006,\n",
      "        -0.0058, -0.0126, -0.0162, -0.0121,  0.0100, -0.0125,  0.0016, -0.0024,\n",
      "         0.0044, -0.0048,  0.0197, -0.0203, -0.0091, -0.0197, -0.0087,  0.0045,\n",
      "        -0.0134,  0.0132, -0.0129, -0.0105,  0.0077, -0.0167,  0.0207, -0.0210,\n",
      "        -0.0134, -0.0077, -0.0068,  0.0013,  0.0117, -0.0070,  0.0034,  0.0178,\n",
      "        -0.0039,  0.0125,  0.0079, -0.0195, -0.0073,  0.0114,  0.0066, -0.0237,\n",
      "        -0.0144,  0.0030,  0.0108,  0.0122,  0.0033,  0.0176,  0.0232, -0.0217,\n",
      "        -0.0072,  0.0205,  0.0173,  0.0051,  0.0200, -0.0173, -0.0129, -0.0089,\n",
      "        -0.0001, -0.0032,  0.0134,  0.0234, -0.0181, -0.0140, -0.0052,  0.0232,\n",
      "        -0.0043, -0.0110,  0.0211,  0.0181, -0.0109, -0.0049,  0.0030, -0.0125,\n",
      "        -0.0107, -0.0029, -0.0035, -0.0057, -0.0159, -0.0009,  0.0152, -0.0200,\n",
      "         0.0099, -0.0038,  0.0153,  0.0143,  0.0102,  0.0099,  0.0075,  0.0120,\n",
      "        -0.0052, -0.0211,  0.0176,  0.0069, -0.0110, -0.0240, -0.0042,  0.0186,\n",
      "        -0.0011, -0.0215,  0.0043, -0.0231, -0.0060,  0.0022,  0.0048,  0.0208,\n",
      "        -0.0009, -0.0101, -0.0157,  0.0065, -0.0020,  0.0193, -0.0135,  0.0227,\n",
      "        -0.0029,  0.0121,  0.0133, -0.0175,  0.0049, -0.0217, -0.0216, -0.0235,\n",
      "        -0.0049,  0.0033,  0.0228, -0.0113,  0.0234, -0.0167, -0.0011, -0.0046,\n",
      "         0.0192, -0.0184,  0.0028, -0.0123, -0.0104, -0.0104, -0.0176, -0.0203,\n",
      "        -0.0093, -0.0115, -0.0076,  0.0020, -0.0002,  0.0218,  0.0043,  0.0171,\n",
      "        -0.0029, -0.0151,  0.0049, -0.0232,  0.0186, -0.0012,  0.0077,  0.0075,\n",
      "        -0.0050, -0.0191,  0.0166, -0.0061,  0.0226, -0.0027,  0.0104, -0.0218,\n",
      "        -0.0230,  0.0177, -0.0077,  0.0238,  0.0240,  0.0007, -0.0136,  0.0004])\n",
      "\n",
      "features.8.weight\n",
      "tensor([[[[ 0.0054, -0.0086, -0.0123],\n",
      "          [ 0.0086, -0.0155,  0.0034],\n",
      "          [-0.0006,  0.0088, -0.0082]],\n",
      "\n",
      "         [[ 0.0046, -0.0074,  0.0048],\n",
      "          [ 0.0050, -0.0012,  0.0101],\n",
      "          [-0.0139,  0.0059,  0.0144]],\n",
      "\n",
      "         [[ 0.0023,  0.0104, -0.0163],\n",
      "          [ 0.0168,  0.0112, -0.0120],\n",
      "          [-0.0051,  0.0085, -0.0141]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-0.0013, -0.0081,  0.0005],\n",
      "          [ 0.0075, -0.0090,  0.0031],\n",
      "          [-0.0043, -0.0109,  0.0155]],\n",
      "\n",
      "         [[-0.0168,  0.0160,  0.0058],\n",
      "          [-0.0040, -0.0081, -0.0147],\n",
      "          [-0.0079,  0.0104,  0.0068]],\n",
      "\n",
      "         [[-0.0107,  0.0140, -0.0003],\n",
      "          [ 0.0041, -0.0035,  0.0123],\n",
      "          [-0.0092, -0.0141, -0.0115]]],\n",
      "\n",
      "\n",
      "        [[[-0.0165,  0.0138, -0.0104],\n",
      "          [ 0.0085, -0.0017,  0.0068],\n",
      "          [-0.0110,  0.0109, -0.0113]],\n",
      "\n",
      "         [[-0.0077,  0.0022,  0.0016],\n",
      "          [ 0.0138,  0.0167,  0.0073],\n",
      "          [ 0.0118,  0.0003, -0.0140]],\n",
      "\n",
      "         [[ 0.0142,  0.0012, -0.0138],\n",
      "          [ 0.0063, -0.0073, -0.0032],\n",
      "          [-0.0044, -0.0090,  0.0121]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 0.0163, -0.0075, -0.0126],\n",
      "          [ 0.0040, -0.0062,  0.0032],\n",
      "          [-0.0029, -0.0079,  0.0115]],\n",
      "\n",
      "         [[-0.0106,  0.0010,  0.0109],\n",
      "          [ 0.0016, -0.0127, -0.0084],\n",
      "          [-0.0075, -0.0060,  0.0085]],\n",
      "\n",
      "         [[ 0.0101, -0.0094,  0.0164],\n",
      "          [ 0.0166,  0.0072,  0.0014],\n",
      "          [ 0.0085,  0.0135, -0.0029]]],\n",
      "\n",
      "\n",
      "        [[[ 0.0150,  0.0007, -0.0048],\n",
      "          [ 0.0038,  0.0114, -0.0068],\n",
      "          [-0.0151, -0.0121,  0.0029]],\n",
      "\n",
      "         [[ 0.0140,  0.0069,  0.0032],\n",
      "          [-0.0093,  0.0062,  0.0138],\n",
      "          [ 0.0137,  0.0147, -0.0012]],\n",
      "\n",
      "         [[-0.0128, -0.0038,  0.0028],\n",
      "          [-0.0103, -0.0132, -0.0076],\n",
      "          [-0.0140,  0.0160, -0.0064]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 0.0166,  0.0042,  0.0028],\n",
      "          [-0.0134, -0.0116, -0.0010],\n",
      "          [-0.0150, -0.0074,  0.0011]],\n",
      "\n",
      "         [[ 0.0060,  0.0106, -0.0020],\n",
      "          [-0.0102, -0.0016, -0.0028],\n",
      "          [ 0.0165,  0.0158,  0.0143]],\n",
      "\n",
      "         [[-0.0084,  0.0126, -0.0007],\n",
      "          [ 0.0025, -0.0160, -0.0012],\n",
      "          [ 0.0046,  0.0137,  0.0116]]],\n",
      "\n",
      "\n",
      "        ...,\n",
      "\n",
      "\n",
      "        [[[-0.0018, -0.0037,  0.0117],\n",
      "          [-0.0056,  0.0100, -0.0076],\n",
      "          [-0.0166, -0.0125, -0.0013]],\n",
      "\n",
      "         [[-0.0037, -0.0140, -0.0106],\n",
      "          [ 0.0125,  0.0068, -0.0146],\n",
      "          [-0.0081,  0.0009,  0.0142]],\n",
      "\n",
      "         [[-0.0126, -0.0159, -0.0025],\n",
      "          [-0.0052, -0.0053, -0.0065],\n",
      "          [-0.0037,  0.0037, -0.0092]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-0.0013,  0.0130, -0.0094],\n",
      "          [ 0.0157,  0.0070, -0.0001],\n",
      "          [ 0.0110, -0.0016, -0.0092]],\n",
      "\n",
      "         [[-0.0125,  0.0095, -0.0074],\n",
      "          [ 0.0044,  0.0170,  0.0130],\n",
      "          [-0.0036, -0.0113, -0.0010]],\n",
      "\n",
      "         [[-0.0030,  0.0092, -0.0105],\n",
      "          [ 0.0092,  0.0022, -0.0097],\n",
      "          [-0.0064, -0.0072,  0.0071]]],\n",
      "\n",
      "\n",
      "        [[[-0.0122, -0.0086, -0.0106],\n",
      "          [ 0.0129,  0.0033,  0.0015],\n",
      "          [-0.0007,  0.0056, -0.0097]],\n",
      "\n",
      "         [[ 0.0003, -0.0031,  0.0039],\n",
      "          [ 0.0143,  0.0125,  0.0163],\n",
      "          [-0.0108, -0.0116,  0.0063]],\n",
      "\n",
      "         [[ 0.0167,  0.0092,  0.0033],\n",
      "          [-0.0130, -0.0067,  0.0066],\n",
      "          [ 0.0002,  0.0016, -0.0066]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-0.0086, -0.0039, -0.0135],\n",
      "          [ 0.0126, -0.0059,  0.0116],\n",
      "          [-0.0061, -0.0119, -0.0150]],\n",
      "\n",
      "         [[ 0.0030, -0.0038, -0.0078],\n",
      "          [-0.0092,  0.0087, -0.0066],\n",
      "          [-0.0063,  0.0168,  0.0094]],\n",
      "\n",
      "         [[-0.0136, -0.0074, -0.0119],\n",
      "          [-0.0040, -0.0103, -0.0134],\n",
      "          [ 0.0035,  0.0009, -0.0060]]],\n",
      "\n",
      "\n",
      "        [[[ 0.0110,  0.0143, -0.0102],\n",
      "          [ 0.0028, -0.0132,  0.0102],\n",
      "          [-0.0021,  0.0074, -0.0156]],\n",
      "\n",
      "         [[-0.0052, -0.0125, -0.0161],\n",
      "          [-0.0132, -0.0162,  0.0031],\n",
      "          [-0.0029, -0.0080, -0.0034]],\n",
      "\n",
      "         [[ 0.0008,  0.0135,  0.0070],\n",
      "          [-0.0130,  0.0025,  0.0157],\n",
      "          [-0.0051,  0.0060,  0.0122]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 0.0077,  0.0098,  0.0135],\n",
      "          [-0.0096, -0.0014,  0.0122],\n",
      "          [ 0.0092, -0.0014, -0.0144]],\n",
      "\n",
      "         [[-0.0016,  0.0120,  0.0127],\n",
      "          [-0.0061, -0.0156,  0.0029],\n",
      "          [ 0.0048, -0.0140, -0.0017]],\n",
      "\n",
      "         [[ 0.0094,  0.0151,  0.0067],\n",
      "          [ 0.0135,  0.0162,  0.0084],\n",
      "          [-0.0087,  0.0006, -0.0068]]]])\n",
      "\n",
      "features.8.bias\n",
      "tensor([-1.5293e-03,  1.1656e-02,  6.6260e-03,  1.0122e-02, -1.4299e-02,\n",
      "        -3.8489e-03, -1.1318e-02, -5.1577e-04,  1.3365e-02, -2.8446e-04,\n",
      "         6.0317e-03,  1.0639e-02,  3.2861e-03, -9.8307e-03,  3.2761e-03,\n",
      "        -1.5585e-02, -6.6717e-04, -5.9974e-03, -1.0228e-02,  9.3201e-03,\n",
      "        -8.9442e-03,  6.4831e-03, -1.0448e-03, -2.5837e-03,  7.2485e-03,\n",
      "         4.2302e-03, -8.6675e-03,  1.3670e-02, -9.9668e-03, -7.5380e-04,\n",
      "         1.5439e-02,  1.0850e-02,  5.7359e-03, -2.9759e-04, -4.9292e-03,\n",
      "         3.4346e-03,  1.5080e-02,  8.1082e-04,  1.4203e-02, -9.4622e-03,\n",
      "        -1.4315e-02, -2.1575e-03, -1.1015e-02, -7.8471e-03, -1.3035e-02,\n",
      "        -8.1719e-03, -7.4412e-03,  1.0357e-02,  3.3083e-03, -2.0137e-03,\n",
      "         6.6438e-03, -1.4030e-03,  1.5511e-02,  7.0182e-03, -3.4557e-03,\n",
      "        -2.7158e-03,  6.2903e-04, -3.3347e-03, -1.4747e-03, -8.7379e-03,\n",
      "        -8.2306e-03,  1.6270e-02, -4.3581e-03, -1.1317e-02, -3.9467e-03,\n",
      "        -1.1530e-02, -1.4546e-02, -7.9451e-03, -9.6434e-03, -1.1184e-02,\n",
      "         1.0302e-02, -4.9676e-04,  1.0049e-02, -1.5064e-02, -1.0025e-02,\n",
      "        -1.4073e-02, -2.7839e-03, -1.3866e-02, -1.3749e-02, -7.7794e-03,\n",
      "         3.2164e-03, -2.3923e-03, -7.8678e-03, -6.8258e-03,  1.3864e-03,\n",
      "         5.2353e-05, -7.3692e-03,  1.6655e-02,  1.4105e-02, -2.7920e-03,\n",
      "        -1.3929e-03,  1.1903e-02, -1.1382e-02, -6.3029e-03,  1.6504e-02,\n",
      "         9.9720e-03, -6.9261e-04, -1.5239e-02, -4.5867e-04, -9.7877e-04,\n",
      "         1.6940e-02,  5.3320e-03,  1.0257e-02,  9.4915e-03,  1.6396e-02,\n",
      "        -1.1687e-02, -2.5956e-03,  1.1602e-02, -7.4849e-03, -1.4346e-02,\n",
      "         7.9383e-03,  2.6027e-04, -1.0683e-02,  8.3437e-03, -1.2694e-02,\n",
      "         1.3974e-02,  6.5474e-03,  5.9644e-03,  1.4257e-02,  7.7800e-03,\n",
      "        -1.1542e-02, -1.3938e-02,  1.2767e-02,  2.7902e-03, -1.3606e-03,\n",
      "        -1.3771e-03, -1.1626e-02,  1.4707e-02,  1.6823e-02,  5.9087e-03,\n",
      "         1.6770e-02, -3.0135e-03, -1.5001e-02,  2.8609e-03,  8.6199e-03,\n",
      "         1.5194e-02, -1.5922e-02, -1.3976e-02,  1.2117e-02, -2.7696e-03,\n",
      "        -4.4839e-03,  2.8266e-03, -1.3826e-02,  9.0061e-03,  4.1117e-03,\n",
      "        -9.7664e-03, -1.5450e-02, -4.3956e-03, -1.6630e-02, -6.5003e-03,\n",
      "         9.9160e-03,  3.6175e-03, -1.0142e-02, -8.2159e-03, -3.7057e-03,\n",
      "        -4.1349e-03, -1.2958e-02,  1.4454e-02,  9.6741e-03, -9.1369e-03,\n",
      "        -4.6185e-03,  1.1574e-02,  1.3220e-03,  1.4611e-02,  1.5475e-03,\n",
      "        -1.4592e-02,  6.1844e-03,  3.1690e-03, -9.3976e-03,  1.0577e-02,\n",
      "        -1.2959e-02,  8.2389e-04, -1.6004e-02, -1.8894e-03, -1.0196e-02,\n",
      "        -9.3014e-03,  2.9718e-03, -5.4102e-03,  8.0043e-03, -1.9587e-03,\n",
      "         1.4617e-02,  6.0904e-03, -1.5994e-02, -4.1730e-03, -1.4501e-02,\n",
      "         9.4247e-03, -1.5587e-02, -7.1806e-03, -1.4305e-03, -1.2367e-02,\n",
      "         1.3999e-02,  6.2945e-04, -1.3539e-02,  6.8684e-03, -9.7848e-03,\n",
      "        -6.0625e-04, -1.2937e-02,  4.0693e-03, -1.1648e-02, -1.6014e-02,\n",
      "        -1.4848e-02,  7.6428e-03,  1.0811e-02,  1.2064e-02,  1.6909e-02,\n",
      "         5.4888e-03, -1.3243e-02,  1.3576e-02, -1.4693e-02, -1.6848e-02,\n",
      "         9.4854e-04, -9.7913e-03,  1.6177e-02,  1.2858e-02, -1.1726e-03,\n",
      "         6.6279e-03, -4.0629e-03,  1.2509e-02, -1.0907e-02,  1.5466e-02,\n",
      "        -1.3444e-03,  1.2023e-02,  1.1549e-04, -4.1209e-03, -5.3538e-03,\n",
      "        -8.5273e-03, -9.3553e-03,  3.3813e-03, -7.4362e-04, -9.6498e-03,\n",
      "         1.2416e-02, -4.2301e-03, -1.2731e-02,  3.9977e-03,  1.5964e-02,\n",
      "         2.5542e-03, -1.0399e-02, -6.8979e-03, -6.8017e-03,  1.6978e-02,\n",
      "        -9.6545e-03,  4.1372e-03, -1.4323e-02,  2.2942e-03, -1.5024e-03,\n",
      "        -3.9038e-04, -8.4338e-04, -7.8311e-03, -8.3852e-03,  1.0873e-02,\n",
      "         1.1989e-02, -8.8614e-04,  1.0422e-03, -1.2315e-02,  1.6563e-02,\n",
      "         3.2866e-03])\n",
      "\n",
      "features.10.weight\n",
      "tensor([[[[-2.4424e-03,  8.3752e-04, -1.5953e-02],\n",
      "          [-1.4762e-02, -1.4390e-02, -6.1784e-03],\n",
      "          [ 7.9369e-04,  2.0174e-02,  9.3683e-03]],\n",
      "\n",
      "         [[ 5.8268e-03,  9.1306e-03,  1.3281e-02],\n",
      "          [-1.3480e-02,  5.1439e-03, -2.7423e-04],\n",
      "          [-1.6165e-02,  6.0602e-03, -1.6975e-02]],\n",
      "\n",
      "         [[-1.0933e-02,  1.7667e-02, -3.8114e-03],\n",
      "          [-1.3101e-02, -1.0206e-02,  1.3404e-02],\n",
      "          [-1.6727e-02, -2.1382e-03, -1.4370e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 5.7047e-03, -1.3678e-02,  1.7679e-02],\n",
      "          [-1.5452e-02, -6.2562e-03,  1.0111e-02],\n",
      "          [-1.3564e-02, -1.6097e-02,  1.7166e-02]],\n",
      "\n",
      "         [[ 3.1655e-03, -8.5702e-03, -1.8955e-02],\n",
      "          [-2.1152e-03, -5.3890e-03,  4.7523e-03],\n",
      "          [-1.4049e-02, -1.4634e-02, -6.0791e-03]],\n",
      "\n",
      "         [[ 2.3441e-03,  5.6158e-03, -1.2984e-02],\n",
      "          [-1.3814e-02, -1.0988e-02, -5.3114e-03],\n",
      "          [ 9.5952e-03,  7.4320e-03, -1.9869e-02]]],\n",
      "\n",
      "\n",
      "        [[[ 5.8538e-03,  1.3194e-02, -1.7362e-03],\n",
      "          [ 2.9716e-03, -1.8942e-02,  1.5089e-02],\n",
      "          [ 1.9033e-03, -5.1802e-03, -9.1462e-03]],\n",
      "\n",
      "         [[-1.6534e-03,  1.1879e-02, -1.7528e-02],\n",
      "          [-1.1282e-02, -1.0293e-02, -4.3290e-03],\n",
      "          [ 1.2760e-02,  8.7346e-03, -1.4913e-02]],\n",
      "\n",
      "         [[-8.3071e-03, -4.8123e-03, -1.7179e-02],\n",
      "          [ 1.6709e-03, -1.6629e-02, -1.6719e-02],\n",
      "          [ 7.9355e-03,  1.5970e-02, -1.7163e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-1.7811e-02,  8.0215e-03,  1.3828e-02],\n",
      "          [-2.4986e-03,  1.7949e-02, -1.5013e-02],\n",
      "          [-2.0349e-02,  3.6419e-03, -7.0747e-03]],\n",
      "\n",
      "         [[ 1.2723e-02,  5.8606e-03, -4.2893e-03],\n",
      "          [ 6.0535e-03,  8.8987e-03,  9.7770e-06],\n",
      "          [ 5.7043e-03, -7.6248e-03,  1.5781e-02]],\n",
      "\n",
      "         [[ 1.0032e-03,  2.0132e-02,  1.5983e-02],\n",
      "          [-1.3536e-02, -1.0068e-02,  1.9891e-02],\n",
      "          [ 1.0478e-02,  1.8980e-03,  1.7960e-02]]],\n",
      "\n",
      "\n",
      "        [[[-5.2903e-03,  5.8214e-03, -1.1387e-02],\n",
      "          [ 8.2683e-03,  8.9784e-03, -1.8411e-02],\n",
      "          [-8.7135e-03,  3.1158e-03,  8.3640e-03]],\n",
      "\n",
      "         [[-5.8777e-03,  9.9604e-03, -2.0648e-03],\n",
      "          [ 1.4272e-02, -8.8995e-03,  3.2189e-04],\n",
      "          [ 1.4271e-02, -1.4449e-02,  1.1411e-02]],\n",
      "\n",
      "         [[-9.0116e-03,  6.6732e-03,  1.2868e-02],\n",
      "          [ 7.9038e-03, -1.0944e-02, -3.6206e-03],\n",
      "          [-9.3543e-03,  1.8966e-02, -1.9634e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 1.2272e-02, -1.5626e-02, -1.8165e-02],\n",
      "          [-1.5942e-02, -1.2357e-02, -2.0566e-02],\n",
      "          [-8.7012e-04,  4.2416e-03,  1.5049e-02]],\n",
      "\n",
      "         [[ 9.9184e-03,  7.9992e-03, -1.0116e-02],\n",
      "          [ 1.3788e-03,  1.5715e-02, -6.5336e-03],\n",
      "          [-1.0398e-02, -1.9844e-02, -1.0455e-02]],\n",
      "\n",
      "         [[ 1.9536e-02,  1.9851e-02, -5.4790e-03],\n",
      "          [-1.2986e-02,  2.0685e-02, -1.4989e-02],\n",
      "          [-2.3303e-03, -8.3857e-03, -1.1085e-02]]],\n",
      "\n",
      "\n",
      "        ...,\n",
      "\n",
      "\n",
      "        [[[-9.9890e-03, -4.9483e-03, -4.9262e-03],\n",
      "          [-1.6674e-02,  1.5404e-02, -1.1315e-02],\n",
      "          [-1.3594e-02,  1.1684e-02,  5.0090e-03]],\n",
      "\n",
      "         [[-3.1587e-03,  3.0925e-03, -1.3212e-02],\n",
      "          [ 1.4013e-02,  9.8858e-03, -4.6775e-04],\n",
      "          [ 1.3139e-02,  1.3460e-02, -6.5459e-03]],\n",
      "\n",
      "         [[-5.5925e-03, -1.9421e-02,  7.2503e-03],\n",
      "          [ 1.1064e-02,  6.6622e-03,  4.4203e-03],\n",
      "          [-8.4613e-03,  2.9894e-03,  6.0436e-03]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 5.2223e-05,  1.2031e-03, -1.7598e-02],\n",
      "          [ 1.4873e-02,  1.4714e-02,  1.2763e-02],\n",
      "          [ 3.6805e-03, -1.4600e-02, -9.7386e-03]],\n",
      "\n",
      "         [[-1.6544e-02, -1.5421e-02, -4.6955e-03],\n",
      "          [ 8.5579e-03,  1.2793e-02,  1.9978e-03],\n",
      "          [ 4.8527e-03,  1.2176e-02,  7.8770e-03]],\n",
      "\n",
      "         [[-1.1390e-02,  1.7100e-02,  8.0386e-03],\n",
      "          [ 1.1684e-02, -2.2381e-03, -1.9193e-02],\n",
      "          [ 7.8273e-03,  4.2642e-03,  5.0268e-03]]],\n",
      "\n",
      "\n",
      "        [[[-5.7679e-03,  3.9864e-03, -1.1812e-02],\n",
      "          [ 1.8460e-02,  1.9427e-02, -2.4918e-03],\n",
      "          [-1.1690e-02,  1.7571e-02,  5.7046e-03]],\n",
      "\n",
      "         [[ 1.9337e-02,  6.0199e-03,  2.1119e-03],\n",
      "          [-1.1952e-04,  1.8688e-03,  1.7423e-03],\n",
      "          [-1.9608e-03, -8.0907e-03, -3.9524e-04]],\n",
      "\n",
      "         [[-1.7841e-02, -4.9746e-03,  2.5813e-03],\n",
      "          [-5.1712e-03,  5.2190e-03,  7.3775e-03],\n",
      "          [ 2.4675e-03, -1.1307e-02, -9.3873e-03]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[ 6.8138e-03, -1.4822e-02,  1.7006e-02],\n",
      "          [ 8.6875e-03, -4.0710e-03,  1.2906e-02],\n",
      "          [ 5.9128e-03, -7.0907e-03, -1.7198e-02]],\n",
      "\n",
      "         [[-6.0155e-03,  1.0806e-03,  3.6627e-04],\n",
      "          [ 8.0940e-03,  1.2535e-02,  3.9063e-03],\n",
      "          [ 1.2842e-02,  2.0083e-02,  6.2260e-03]],\n",
      "\n",
      "         [[ 5.9593e-04, -2.0200e-02, -2.0984e-04],\n",
      "          [-1.0663e-02,  1.5128e-03, -5.8361e-03],\n",
      "          [-2.0672e-02,  1.0670e-02,  2.0238e-02]]],\n",
      "\n",
      "\n",
      "        [[[-7.3726e-03, -1.0498e-03,  9.3935e-04],\n",
      "          [ 1.4967e-03,  7.8869e-03,  1.9296e-02],\n",
      "          [-2.0361e-02,  5.4728e-03, -1.3584e-02]],\n",
      "\n",
      "         [[-4.9935e-03, -1.4346e-02,  1.9729e-02],\n",
      "          [ 1.5048e-02,  3.5612e-04, -2.6225e-03],\n",
      "          [-2.0529e-02, -8.2735e-03, -1.4411e-03]],\n",
      "\n",
      "         [[-1.8759e-02,  1.9981e-02, -5.2327e-03],\n",
      "          [-1.0319e-02,  7.1430e-03, -9.0077e-03],\n",
      "          [-7.9148e-03,  5.0797e-03,  1.7528e-02]],\n",
      "\n",
      "         ...,\n",
      "\n",
      "         [[-2.5920e-03, -1.7351e-02, -9.0343e-03],\n",
      "          [-1.6733e-02, -4.2367e-03, -1.3340e-02],\n",
      "          [ 2.8185e-03,  1.8708e-03, -6.9804e-03]],\n",
      "\n",
      "         [[-1.0178e-02,  2.0686e-02,  9.6064e-03],\n",
      "          [-1.5006e-02,  4.9689e-03,  2.0330e-02],\n",
      "          [-1.8025e-02,  6.2015e-03,  9.9209e-03]],\n",
      "\n",
      "         [[-1.0679e-02, -1.6841e-03,  5.2991e-04],\n",
      "          [ 2.0555e-02, -9.5711e-03, -2.0119e-03],\n",
      "          [ 1.6805e-02, -3.1319e-03, -1.5524e-02]]]])\n",
      "\n",
      "features.10.bias\n",
      "tensor([ 9.6874e-03, -1.8868e-02,  1.5721e-02,  6.2538e-03,  6.2133e-03,\n",
      "        -3.9550e-03, -1.9457e-02, -1.4197e-02, -5.2754e-03, -2.1855e-03,\n",
      "         1.5147e-02, -1.8584e-02,  1.9529e-02, -9.9250e-03, -6.5924e-03,\n",
      "         5.2993e-03,  1.5201e-02,  5.1616e-03, -1.7249e-02,  1.9930e-02,\n",
      "        -1.7960e-02, -5.7508e-03, -1.5776e-02,  4.4761e-03, -1.8947e-02,\n",
      "         8.0553e-03, -2.1850e-03, -1.7773e-02, -4.0852e-03, -1.1525e-02,\n",
      "        -1.4812e-02, -8.5557e-03,  1.2194e-02, -9.8403e-03,  1.2183e-02,\n",
      "         1.2601e-02, -7.6403e-03, -5.4792e-05,  3.0005e-03,  6.1208e-03,\n",
      "        -7.8805e-03,  2.0229e-02,  1.6526e-02, -8.6561e-03,  1.8467e-02,\n",
      "        -7.9428e-03, -5.6858e-03, -2.0477e-02,  1.6673e-02, -1.2531e-02,\n",
      "         3.3234e-03, -1.4595e-02, -4.9677e-04, -1.8517e-02, -2.7500e-03,\n",
      "        -6.5538e-03,  9.6328e-03, -1.7016e-02, -1.1360e-02, -2.2023e-03,\n",
      "         2.6883e-03, -8.2403e-03,  1.3605e-02, -1.8938e-02,  6.1879e-03,\n",
      "         8.9873e-03, -5.7131e-03, -1.6340e-02,  5.0585e-03, -2.0480e-03,\n",
      "        -1.6779e-02, -6.3063e-03,  5.8509e-03,  7.7109e-03,  6.3795e-03,\n",
      "         1.6875e-02, -1.0299e-02,  1.3369e-02,  7.3190e-03,  1.2054e-02,\n",
      "         1.1892e-02, -1.0272e-02, -5.1410e-03,  2.0248e-02,  9.7152e-03,\n",
      "        -1.4733e-02, -5.7002e-03,  1.2572e-02, -1.0339e-02,  3.0014e-03,\n",
      "         1.6365e-02,  6.3537e-03, -8.9383e-03,  1.7209e-02,  1.2765e-02,\n",
      "         1.9423e-02, -1.4156e-02,  1.1194e-04,  1.4591e-02,  1.1949e-02,\n",
      "         1.9148e-02,  2.0519e-02, -1.7674e-02,  1.8933e-02,  1.6620e-02,\n",
      "        -1.4287e-02,  1.9117e-02, -2.0334e-02,  6.6459e-03, -1.3533e-02,\n",
      "         1.6438e-02,  1.8305e-03,  1.3836e-02, -4.5807e-03, -1.7187e-02,\n",
      "         5.4901e-03, -4.1739e-03, -1.4959e-02,  6.8547e-03,  1.1211e-02,\n",
      "        -1.2493e-02,  1.1252e-02,  1.7613e-02,  1.4922e-02,  7.4589e-04,\n",
      "        -1.0171e-02,  1.3948e-02, -2.3964e-03,  1.4737e-02, -1.3442e-02,\n",
      "         2.0473e-02,  2.1933e-03, -1.6857e-02, -8.2242e-03,  1.3362e-02,\n",
      "         1.6539e-02,  1.5839e-02, -5.7905e-03,  1.9823e-02,  2.8115e-03,\n",
      "        -2.9679e-03, -1.4464e-02,  2.2559e-04, -2.9795e-03,  7.0871e-03,\n",
      "         1.8604e-02,  2.0630e-02, -9.4717e-03,  1.8671e-02,  3.8154e-03,\n",
      "         4.4778e-03,  4.9396e-03,  1.2058e-02,  2.5791e-03,  9.4851e-03,\n",
      "        -1.1037e-02, -2.2768e-03, -8.6701e-03,  2.0080e-02,  7.8456e-03,\n",
      "        -1.1338e-02,  1.1670e-03,  1.4775e-02,  1.7124e-02, -6.6257e-03,\n",
      "        -8.6636e-03, -5.5133e-03, -3.5814e-03,  1.9896e-02, -9.5902e-04,\n",
      "         1.2157e-02,  9.9234e-03,  1.2304e-02,  5.3146e-03, -1.8655e-02,\n",
      "        -8.4530e-04,  1.8921e-02, -1.8536e-02,  3.1202e-03,  1.6448e-02,\n",
      "        -1.2267e-02,  1.6379e-02,  1.5310e-02,  1.0784e-02, -1.7749e-02,\n",
      "        -1.6054e-02, -1.2828e-02,  6.1269e-03,  1.2331e-02,  3.5556e-03,\n",
      "         1.7274e-02, -1.2610e-02, -8.9601e-03,  5.3845e-03,  8.5219e-03,\n",
      "        -1.0051e-02, -8.9990e-03, -8.0721e-03, -1.1467e-02,  1.3860e-02,\n",
      "        -1.3533e-03,  6.5292e-03, -1.4303e-02,  1.4734e-03, -6.5839e-03,\n",
      "         1.2637e-02,  1.1362e-02, -1.4782e-02, -1.0717e-02, -1.6738e-02,\n",
      "        -5.4660e-03, -2.7269e-03,  1.8228e-02, -1.3845e-02, -1.0909e-02,\n",
      "         1.1888e-02,  8.8044e-03, -2.2705e-03,  2.0533e-02,  1.4478e-03,\n",
      "        -2.0122e-02, -8.4249e-03,  2.0232e-02, -2.1511e-03, -2.0654e-02,\n",
      "         8.8736e-04, -1.7536e-02,  2.8318e-04, -1.3981e-02,  1.1655e-02,\n",
      "        -2.2085e-03, -6.7081e-03,  1.3056e-02, -7.6288e-03,  7.1395e-03,\n",
      "        -8.2708e-03, -3.0425e-03,  1.7837e-02,  1.3724e-02, -1.0202e-02,\n",
      "        -1.5202e-02,  1.3200e-02,  2.6435e-03,  8.0929e-03, -8.4116e-03,\n",
      "         1.4673e-02, -1.3375e-02,  1.6801e-02,  1.4715e-02,  8.9801e-03,\n",
      "         7.5608e-03, -4.0416e-03,  5.1709e-03, -9.6364e-03, -1.9053e-02,\n",
      "        -2.0654e-02])\n",
      "\n",
      "classifier.1.weight\n",
      "tensor([[-0.0014,  0.0067,  0.0019,  ...,  0.0030,  0.0019,  0.0054],\n",
      "        [-0.0006,  0.0048,  0.0097,  ...,  0.0002, -0.0090,  0.0052],\n",
      "        [-0.0092,  0.0007,  0.0085,  ..., -0.0068,  0.0082,  0.0056],\n",
      "        ...,\n",
      "        [ 0.0093, -0.0045, -0.0083,  ...,  0.0092, -0.0031, -0.0031],\n",
      "        [ 0.0047,  0.0073,  0.0065,  ...,  0.0040, -0.0037, -0.0034],\n",
      "        [-0.0077,  0.0095, -0.0013,  ..., -0.0067, -0.0061, -0.0068]])\n",
      "\n",
      "classifier.1.bias\n",
      "tensor([ 0.0051,  0.0047, -0.0051,  ..., -0.0043, -0.0101,  0.0063])\n",
      "\n",
      "classifier.4.weight\n",
      "tensor([[-0.0085, -0.0006, -0.0123,  ..., -0.0107, -0.0084,  0.0094],\n",
      "        [-0.0080, -0.0059,  0.0123,  ..., -0.0068,  0.0083,  0.0056],\n",
      "        [ 0.0095,  0.0011, -0.0003,  ..., -0.0154,  0.0127, -0.0053],\n",
      "        ...,\n",
      "        [-0.0137,  0.0049,  0.0020,  ..., -0.0141, -0.0085, -0.0125],\n",
      "        [ 0.0119,  0.0144, -0.0023,  ...,  0.0053, -0.0143,  0.0120],\n",
      "        [ 0.0122,  0.0143,  0.0098,  ..., -0.0149, -0.0154,  0.0119]])\n",
      "\n",
      "classifier.4.bias\n",
      "tensor([ 0.0062,  0.0021, -0.0091,  ...,  0.0103, -0.0126,  0.0023])\n",
      "\n",
      "classifier.6.weight\n",
      "tensor([[-0.0099, -0.0133, -0.0015,  ..., -0.0022,  0.0066, -0.0013],\n",
      "        [-0.0130,  0.0106,  0.0104,  ...,  0.0127,  0.0117, -0.0089],\n",
      "        [ 0.0127,  0.0005,  0.0062,  ..., -0.0097,  0.0044, -0.0098],\n",
      "        ...,\n",
      "        [ 0.0135,  0.0133, -0.0036,  ...,  0.0125, -0.0101, -0.0135],\n",
      "        [-0.0081,  0.0065,  0.0101,  ...,  0.0011, -0.0094,  0.0060],\n",
      "        [ 0.0123,  0.0110, -0.0070,  ..., -0.0030,  0.0029,  0.0092]])\n",
      "\n",
      "classifier.6.bias\n",
      "tensor([-1.2473e-02, -1.3835e-02,  7.1192e-03, -6.8315e-03,  1.4292e-02,\n",
      "         3.4594e-03, -7.7544e-03, -1.4485e-02, -1.5236e-02,  7.8839e-03,\n",
      "        -7.7665e-03, -9.4565e-03, -7.3578e-03,  1.2390e-02,  9.0964e-03,\n",
      "        -1.3971e-02, -1.2896e-02,  1.0620e-02,  1.3399e-02, -1.0788e-02,\n",
      "        -7.8335e-03, -9.8960e-03, -8.8404e-04, -8.3488e-03,  1.3263e-02,\n",
      "        -5.1469e-04, -6.3332e-03,  7.4371e-04,  5.2240e-03,  7.4264e-03,\n",
      "         1.3924e-02, -1.4080e-02, -1.3839e-02,  6.7822e-03,  6.7247e-03,\n",
      "        -3.3940e-04,  8.0296e-03,  7.6965e-03, -1.5206e-02, -9.7096e-03,\n",
      "        -1.4796e-02,  1.0706e-02, -1.0176e-02, -3.1401e-03,  6.5518e-03,\n",
      "         6.3215e-03,  8.7010e-03, -5.1086e-03,  9.6920e-03, -8.5129e-03,\n",
      "         1.2983e-02,  1.2877e-02, -9.5371e-03, -9.8714e-04, -1.0743e-02,\n",
      "         1.1121e-02, -1.8645e-03, -1.2256e-02,  1.5412e-02, -5.8964e-04,\n",
      "        -1.2914e-02,  1.3621e-02,  2.4684e-04, -1.1900e-02,  1.3057e-02,\n",
      "        -6.7256e-04,  1.4142e-02, -7.4406e-03,  4.4360e-03,  1.3088e-02,\n",
      "         3.2143e-03,  2.7332e-03,  8.7996e-03,  6.6925e-04,  1.3766e-02,\n",
      "        -3.4551e-03, -8.1118e-04, -1.4805e-02,  1.4684e-02, -1.0263e-02,\n",
      "        -5.2218e-03,  2.1560e-03, -7.9851e-03, -9.6046e-03,  8.7180e-03,\n",
      "        -5.1999e-03,  5.6605e-03,  1.3543e-03, -5.0961e-03, -8.8167e-03,\n",
      "        -9.9997e-03, -2.5582e-04, -8.3297e-03, -1.3646e-02, -5.1458e-03,\n",
      "         5.2819e-04, -9.9945e-03, -6.3802e-03,  5.4181e-04,  1.1748e-02,\n",
      "        -1.3828e-02, -7.4425e-04,  2.9662e-03,  5.8316e-03, -1.3279e-02,\n",
      "        -1.0486e-02, -2.9142e-03,  1.4655e-02,  2.9713e-05,  1.8510e-03,\n",
      "        -6.8677e-03, -7.0546e-03, -9.6583e-03, -7.0554e-03,  1.4639e-02,\n",
      "        -1.1371e-02,  1.4228e-02,  1.0553e-02, -1.8638e-03,  8.9579e-03,\n",
      "         9.6950e-03, -6.4084e-04,  1.5571e-02, -7.6123e-03,  7.1905e-04,\n",
      "         3.6602e-03, -9.7210e-03, -7.9390e-03, -1.3852e-02, -4.1514e-03,\n",
      "        -1.0731e-02, -7.9184e-03, -1.4934e-02, -1.4681e-03,  1.4302e-02,\n",
      "        -5.8640e-03, -5.2631e-03,  5.7144e-03, -8.0591e-03,  1.0845e-02,\n",
      "        -1.3293e-02, -5.4374e-03,  3.0275e-03,  6.6086e-03, -3.4555e-03,\n",
      "         5.0326e-03, -1.4828e-02, -1.2587e-02,  4.1430e-03,  1.0922e-03,\n",
      "        -1.4203e-02,  7.7381e-03, -4.2945e-04, -1.8946e-03,  8.4094e-03,\n",
      "         5.5048e-03,  1.2797e-02,  3.7682e-03, -9.0279e-03, -2.9991e-03,\n",
      "         1.4882e-02,  9.4913e-03, -9.5386e-03, -1.0313e-03,  9.9434e-03,\n",
      "        -3.4555e-03, -1.4148e-02, -5.6885e-03, -1.5057e-02,  1.5115e-02,\n",
      "        -8.9280e-03, -1.0614e-02, -4.1073e-03,  3.5608e-03, -5.1788e-03,\n",
      "        -8.1523e-04,  4.0479e-03, -1.2984e-02, -8.4904e-03,  1.4464e-02,\n",
      "        -1.3502e-02,  9.0520e-03, -1.1773e-02, -4.8200e-03, -6.5945e-03,\n",
      "        -9.6609e-03, -1.5307e-02, -9.6503e-03, -5.8326e-03,  1.3006e-02,\n",
      "        -1.0225e-03, -7.1889e-03, -1.2733e-02, -1.1223e-02,  8.5040e-03,\n",
      "        -9.9829e-03,  7.1678e-03, -4.4493e-03,  1.5240e-02, -1.9735e-03,\n",
      "         8.3067e-03, -1.1692e-02,  7.5179e-03, -1.4721e-02, -3.4832e-03,\n",
      "        -9.2330e-03, -4.8879e-03, -1.0664e-02, -1.1772e-02, -1.1263e-02,\n",
      "        -1.4110e-02,  7.4871e-03, -1.3218e-02, -1.8074e-03,  5.8869e-03,\n",
      "        -4.6460e-03, -7.0115e-03,  1.3911e-02, -7.8324e-03, -1.4139e-02,\n",
      "         1.3250e-02, -1.3091e-03,  3.0647e-03, -8.7842e-03,  1.2430e-02,\n",
      "        -7.2731e-03,  4.1391e-03,  1.7391e-03,  7.4788e-03, -1.7258e-03,\n",
      "         1.2308e-02,  5.0681e-03,  1.5362e-02, -9.0903e-03,  1.3960e-02,\n",
      "         1.2457e-02,  1.4180e-02,  4.3334e-03,  5.4864e-03, -4.5413e-03,\n",
      "         1.5428e-02,  1.0729e-02,  1.2471e-02, -1.1105e-03, -5.6732e-03,\n",
      "        -3.4619e-03, -7.7238e-03,  2.0470e-04, -4.7489e-04, -1.1791e-02,\n",
      "        -1.5073e-02, -1.2546e-02, -1.3915e-02, -1.3089e-02, -1.3956e-02,\n",
      "         1.4491e-02,  8.4431e-03,  7.3053e-03,  6.6623e-03, -6.8960e-03,\n",
      "         8.7106e-03,  7.1804e-03,  1.1114e-02, -1.0513e-02, -1.5528e-02,\n",
      "         1.4978e-02,  5.3159e-03,  4.6989e-03,  1.3363e-02, -7.9062e-03,\n",
      "         3.7270e-03,  1.2061e-02,  6.0867e-04, -1.4394e-02, -7.6248e-03,\n",
      "        -2.8132e-03, -8.3194e-03,  1.0649e-02,  1.0011e-02,  5.8566e-03,\n",
      "         8.8819e-03, -5.5950e-03,  1.2504e-02,  6.7058e-04, -4.9234e-03,\n",
      "        -2.2896e-04,  8.4113e-04, -4.5207e-03, -1.0848e-02,  3.3332e-03,\n",
      "        -6.2189e-03, -1.4407e-02,  1.3663e-02, -3.9599e-03,  3.7316e-04,\n",
      "        -1.0208e-02, -1.3114e-02,  7.4645e-03, -1.0644e-02,  3.8509e-03,\n",
      "        -8.9773e-03,  1.4644e-02, -1.4690e-02,  6.4203e-03,  7.3501e-03,\n",
      "        -2.4398e-03, -8.3679e-03, -1.5147e-02,  5.7967e-03, -8.0674e-04,\n",
      "        -1.2574e-02,  1.4312e-02, -3.6139e-03, -3.1866e-03,  9.7624e-03,\n",
      "         2.3430e-03,  1.3149e-02,  5.4808e-04, -1.5067e-02, -4.1045e-04,\n",
      "        -1.1269e-02,  3.3780e-03, -8.9232e-05,  1.4485e-03,  8.3869e-03,\n",
      "         1.4584e-02, -1.5291e-02,  6.1894e-04, -9.1083e-03, -1.5295e-02,\n",
      "        -1.5014e-02, -5.7313e-03, -1.2487e-03, -1.2419e-02,  8.1254e-03,\n",
      "        -2.2487e-04,  2.9165e-03, -1.2792e-02,  1.5307e-02,  1.4849e-02,\n",
      "        -1.4603e-02, -3.4980e-04, -6.5972e-03,  2.6722e-04,  4.1312e-03,\n",
      "         1.4648e-03,  1.4074e-02, -3.5104e-03,  1.2293e-02, -1.3838e-02,\n",
      "         3.3673e-04,  1.1049e-03,  1.4446e-02,  4.2905e-04,  1.1340e-02,\n",
      "         9.7190e-03, -9.6096e-03, -1.4132e-02,  3.1919e-03, -1.4631e-02,\n",
      "         4.4371e-04,  1.2348e-02,  2.4272e-03,  1.3398e-02, -1.4330e-02,\n",
      "         5.0639e-03,  1.4188e-02,  9.0047e-03,  8.3662e-03,  2.8283e-03,\n",
      "         1.0298e-03, -8.2137e-03,  3.8277e-03,  6.6979e-03, -1.1225e-02,\n",
      "        -4.2926e-03, -1.1529e-02,  1.5503e-03,  1.0189e-02, -1.4994e-02,\n",
      "        -2.9426e-03,  2.9362e-03, -1.5553e-03, -5.4187e-04, -5.9505e-03,\n",
      "         1.5432e-02,  5.5182e-03, -9.6337e-03,  3.3496e-03,  2.7540e-03,\n",
      "        -1.2418e-02,  1.4713e-02, -8.4027e-03,  1.0893e-02,  1.1826e-03,\n",
      "        -8.7109e-03,  9.2975e-03,  7.2029e-04,  1.4664e-02, -1.2362e-02,\n",
      "        -1.1613e-03,  3.6028e-03, -7.2296e-03,  1.1532e-02,  1.1479e-02,\n",
      "        -3.9299e-03, -2.6182e-03,  1.4891e-02, -8.5845e-03,  2.0896e-03,\n",
      "        -1.1945e-02,  1.5622e-02,  8.4088e-03,  6.5694e-03,  1.4615e-03,\n",
      "        -5.6272e-03,  2.4047e-03,  5.0611e-03,  1.0221e-02, -1.2094e-02,\n",
      "        -6.7124e-03, -1.3772e-02,  1.0851e-02, -4.1265e-03,  5.7826e-03,\n",
      "        -4.8722e-03, -1.0027e-03,  4.4207e-03,  8.1603e-04,  5.8082e-04,\n",
      "        -1.0736e-02, -5.5370e-03,  6.4537e-04,  1.4793e-02, -1.6492e-03,\n",
      "        -3.4421e-03,  9.7959e-03,  3.3507e-04,  8.4132e-03, -9.4586e-03,\n",
      "        -2.1361e-03,  1.1544e-02,  8.4437e-03, -8.8277e-04, -9.2189e-03,\n",
      "        -1.1022e-02,  2.3321e-03, -1.2750e-02,  8.5134e-03,  1.3030e-02,\n",
      "         5.6014e-03, -7.5026e-03, -5.7850e-03, -1.1829e-02,  9.9779e-03,\n",
      "        -1.8164e-03, -3.3542e-03, -8.5365e-03,  1.4778e-02, -1.4121e-02,\n",
      "        -1.4578e-02,  5.8029e-03,  6.0682e-04, -2.2870e-03,  1.5438e-02,\n",
      "        -9.1816e-03,  6.1145e-03, -8.7886e-03,  7.4307e-03, -9.9243e-03,\n",
      "        -2.4435e-03, -1.2401e-03, -3.9290e-03,  1.0220e-02,  6.7847e-03,\n",
      "        -5.4106e-03,  8.5875e-03,  1.3358e-02, -1.8595e-03, -7.4497e-03,\n",
      "         1.1721e-02, -8.8923e-04,  8.1001e-03, -1.1496e-02,  9.7819e-03,\n",
      "         1.0449e-02, -4.9490e-03,  9.0166e-03,  6.6709e-03, -1.4461e-02,\n",
      "         1.3289e-04, -4.1731e-03, -4.4754e-03, -3.7417e-03,  1.0243e-02,\n",
      "        -1.0783e-02, -4.6279e-03, -1.2424e-02, -6.7145e-03, -1.2579e-02,\n",
      "         2.7826e-03,  8.9570e-03, -8.0420e-03,  7.2588e-03,  1.3915e-02,\n",
      "         7.6990e-03, -6.2554e-03, -1.0126e-02, -3.1896e-03, -1.1016e-02,\n",
      "         1.1534e-02, -9.7994e-03, -1.0274e-02, -1.1535e-02, -3.6890e-03,\n",
      "         3.0998e-03, -4.6181e-03, -1.2008e-02,  8.7596e-03, -8.3897e-03,\n",
      "         1.2486e-02, -9.3343e-04, -3.9705e-03, -1.1416e-02,  7.6646e-03,\n",
      "        -3.5381e-03,  5.7855e-03, -4.5528e-03,  2.4487e-03, -9.3900e-03,\n",
      "        -8.1165e-05, -1.3054e-02,  9.9588e-03,  4.7481e-03, -5.3142e-03,\n",
      "         4.4269e-03,  1.2141e-02,  1.5349e-02, -1.0557e-02,  8.6853e-03,\n",
      "        -6.1045e-03,  3.5880e-03,  7.9861e-03, -9.8877e-03, -3.7118e-03,\n",
      "         1.3723e-02,  6.7142e-03,  4.3191e-03,  4.1363e-03,  6.1169e-03,\n",
      "         4.9443e-03, -4.3273e-04,  6.3718e-03, -3.8529e-03, -4.3668e-03,\n",
      "         7.1682e-03, -4.1525e-03, -1.1945e-02, -1.4262e-02,  1.2527e-02,\n",
      "         1.2591e-02,  7.4048e-03,  1.1605e-02, -2.2997e-03,  1.2078e-02,\n",
      "        -1.5345e-02,  1.1859e-02,  4.1569e-03,  5.3334e-03,  3.5721e-03,\n",
      "        -1.1540e-02,  9.1653e-03, -4.2656e-03,  5.4520e-03, -2.2615e-04,\n",
      "        -9.8672e-03, -9.2648e-03, -1.1180e-02,  1.2380e-02, -4.0174e-03,\n",
      "         6.2377e-03, -7.0709e-03, -1.3358e-02, -5.5914e-03, -8.7979e-03,\n",
      "         1.1188e-02,  5.5927e-03, -1.4101e-02, -3.2889e-03, -1.1948e-02,\n",
      "         1.0899e-02,  9.9380e-03, -9.4943e-03,  3.5109e-04,  1.1855e-02,\n",
      "        -3.8702e-03,  1.9913e-03,  7.9042e-03,  5.9263e-03,  5.4644e-04,\n",
      "        -1.3564e-02, -1.2482e-02, -1.1355e-02, -6.3642e-03, -3.4527e-03,\n",
      "         1.3920e-03, -1.5199e-02, -1.1022e-02,  4.8611e-03, -2.8651e-03,\n",
      "        -1.3774e-02, -7.6883e-03, -1.3941e-02, -1.4425e-02, -1.3617e-02,\n",
      "         1.0055e-02, -3.6361e-03, -9.6664e-03,  7.1694e-03,  2.1858e-03,\n",
      "        -1.1805e-03, -1.0947e-02,  1.2631e-02,  8.8072e-03, -1.5382e-03,\n",
      "        -1.1432e-02, -6.4985e-03, -7.2987e-03, -1.2628e-02, -1.6714e-04,\n",
      "         2.0539e-03,  8.6782e-03, -2.4071e-03, -1.0602e-02, -1.5321e-02,\n",
      "        -7.8762e-03,  1.0802e-02,  1.3551e-02,  7.4610e-03, -1.1104e-03,\n",
      "         8.1158e-03, -1.9149e-03,  9.7935e-03,  8.5901e-04, -1.3346e-02,\n",
      "         5.5281e-03,  9.9484e-06, -4.0427e-03, -2.0307e-03, -8.7119e-04,\n",
      "        -7.7391e-03, -1.2754e-02,  7.9698e-03, -1.1336e-02,  7.4673e-04,\n",
      "         2.4125e-03,  1.0949e-02,  4.6313e-03,  1.2598e-02, -3.7075e-03,\n",
      "         1.0972e-02,  2.2348e-03,  9.5864e-03,  7.6663e-03,  3.7907e-04,\n",
      "         6.1684e-03,  1.0924e-02, -4.7262e-03,  6.1414e-03,  5.3783e-03,\n",
      "         3.0496e-03,  3.5529e-03,  5.6538e-04, -1.1655e-02, -1.4720e-02,\n",
      "        -1.5261e-02,  3.8477e-03,  1.0099e-02, -7.8404e-04,  9.7311e-03,\n",
      "        -3.7848e-03, -9.7904e-03,  1.2746e-02,  4.7217e-03, -1.4670e-02,\n",
      "         9.9071e-03,  1.3430e-02, -1.1187e-02,  4.6384e-03,  5.2548e-03,\n",
      "        -8.3963e-03,  3.7801e-03, -1.0455e-02,  1.2118e-02, -1.2071e-02,\n",
      "        -3.1446e-04, -8.1201e-03,  6.0070e-03, -6.5718e-03,  1.2957e-02,\n",
      "        -5.6573e-03,  1.0149e-02,  1.4404e-04,  1.4464e-02, -4.0387e-03,\n",
      "         4.5539e-03, -9.7423e-03,  8.2482e-03, -4.0434e-04, -1.3257e-02,\n",
      "        -1.4343e-02, -1.1688e-03,  4.0674e-03, -6.7948e-03,  2.2028e-03,\n",
      "         4.2963e-04, -1.1525e-02,  2.6986e-03, -3.3815e-03,  1.2682e-02,\n",
      "         1.4553e-02,  3.4293e-03,  2.2050e-03,  5.8840e-03, -4.6110e-03,\n",
      "         8.7498e-03,  8.6254e-03, -1.4971e-02,  1.0108e-02,  1.3142e-02,\n",
      "         7.2541e-03, -1.0705e-02,  5.3974e-03, -1.2108e-02, -7.1443e-03,\n",
      "        -1.3614e-02,  2.9672e-03,  1.1092e-02, -7.2918e-03, -1.3241e-02,\n",
      "        -4.0966e-03,  1.1095e-02, -7.8535e-04, -1.0866e-02, -6.2382e-03,\n",
      "        -1.1219e-02, -9.5509e-03, -6.2936e-03, -6.8688e-03,  1.1724e-02,\n",
      "         3.1994e-04,  1.1643e-02, -4.7158e-03, -1.0121e-02,  1.5026e-02,\n",
      "         1.1905e-02,  1.4406e-02, -1.4467e-02,  7.1946e-03, -1.1034e-02,\n",
      "         1.5574e-02,  1.5273e-02, -4.7958e-03, -4.0173e-03,  8.5670e-03,\n",
      "        -1.3799e-02, -6.0481e-03, -4.6127e-03,  2.9254e-03,  7.4843e-03,\n",
      "         8.2443e-03, -7.1768e-03, -8.4125e-03,  6.3438e-03,  8.8902e-03,\n",
      "        -1.4576e-02, -5.8288e-03, -4.6661e-03, -1.5100e-02,  6.2948e-04,\n",
      "         4.9194e-03,  1.5301e-02, -5.8948e-03, -6.9628e-03,  6.9445e-03,\n",
      "         1.1843e-02,  1.0055e-03,  5.9418e-03,  2.7690e-04, -9.4498e-03,\n",
      "         4.5047e-03,  7.7942e-03,  1.4288e-02, -1.2058e-02, -7.0998e-03,\n",
      "         1.1217e-02,  4.8142e-03,  6.0156e-03,  5.2561e-03, -1.4066e-03,\n",
      "        -3.3442e-03,  3.8187e-03,  6.6829e-03, -1.3937e-02,  1.2736e-03,\n",
      "         7.8554e-03,  3.4025e-03,  1.6597e-03,  9.9150e-03, -1.1034e-02,\n",
      "        -4.7845e-03, -1.5136e-02, -3.9386e-03, -1.1653e-02, -7.9826e-03,\n",
      "         3.1524e-03, -9.0022e-03, -2.9284e-03,  1.1278e-02, -1.0943e-02,\n",
      "        -1.2945e-02, -1.2605e-02, -6.1467e-06,  1.2280e-02, -8.1093e-03,\n",
      "         1.8415e-03,  5.5936e-03, -1.3117e-02, -1.2242e-02, -8.0740e-03,\n",
      "        -8.7747e-03, -1.3677e-02,  3.8812e-03, -7.4034e-03,  7.2995e-03,\n",
      "         3.2871e-03,  1.1319e-02, -7.1881e-03, -7.4051e-03, -9.8796e-03,\n",
      "         4.8207e-03, -1.2543e-02,  6.3997e-03, -5.1065e-03,  2.9840e-03,\n",
      "         1.2654e-02, -6.6255e-03,  5.8960e-03, -1.0383e-02, -7.6202e-04,\n",
      "        -9.5926e-03,  2.2464e-03,  1.1584e-02,  1.2948e-04, -1.3453e-02,\n",
      "        -1.3737e-02, -3.9685e-04,  8.8809e-03,  3.0189e-03,  9.9021e-03,\n",
      "        -4.4207e-03,  9.3153e-03, -2.5655e-03, -1.1888e-02, -2.3608e-03,\n",
      "         1.1063e-03,  1.3106e-02,  2.7897e-03,  1.3236e-02, -9.7041e-03,\n",
      "         1.1305e-02, -8.2293e-03,  2.9504e-03, -1.1006e-02,  4.8726e-03,\n",
      "        -4.7732e-03, -5.9094e-03,  1.4508e-02, -1.5460e-02,  6.9952e-03,\n",
      "         1.4251e-02, -7.7116e-03,  3.5273e-03,  3.8436e-03,  1.9778e-03,\n",
      "         1.1999e-02, -6.9682e-03, -5.4104e-03, -6.0247e-03, -1.5579e-02,\n",
      "        -3.5619e-03, -1.5335e-03, -1.8388e-03, -1.4173e-02,  1.4939e-02,\n",
      "        -8.9884e-03, -1.2211e-03,  1.2564e-02,  1.0361e-02, -7.6676e-03,\n",
      "         1.5533e-02, -8.9084e-03, -1.3597e-02,  4.7992e-03, -9.8040e-03,\n",
      "        -7.9291e-03,  1.4169e-02, -1.2796e-02, -1.3745e-02,  3.5201e-04,\n",
      "        -7.1594e-03,  5.8212e-04,  1.2619e-02,  2.1384e-03,  1.4951e-02,\n",
      "        -4.2006e-03,  5.3603e-03, -1.4227e-02,  1.2876e-02, -1.4777e-02,\n",
      "         3.9175e-03,  1.2988e-02, -2.5238e-03,  5.8291e-03,  1.1597e-02,\n",
      "         1.3111e-02, -6.7376e-03,  2.2069e-03,  2.9346e-03,  2.4108e-03,\n",
      "        -5.5620e-04, -8.2542e-03,  9.6139e-04, -1.4151e-02,  5.9621e-03,\n",
      "        -6.6040e-03, -4.5214e-03,  1.4863e-02,  1.2439e-02,  1.3292e-02,\n",
      "        -5.1628e-03, -1.4096e-02, -1.5060e-02,  1.3093e-02, -5.7194e-03,\n",
      "         1.0219e-02,  7.8298e-03,  2.3237e-03,  7.2338e-03, -7.8877e-04,\n",
      "         1.8571e-03,  6.5727e-03, -8.2179e-03, -3.7599e-04,  5.9268e-05,\n",
      "         1.2385e-02,  4.0897e-03,  1.2956e-02,  6.8505e-03,  1.2080e-04,\n",
      "        -6.4716e-03, -1.1009e-02, -3.5609e-03, -1.5177e-02,  5.8663e-03,\n",
      "        -8.2612e-03,  1.4144e-02, -5.2465e-03,  6.3072e-03,  2.6343e-03,\n",
      "        -8.2691e-03, -1.3277e-02,  4.0575e-04,  7.3475e-03,  1.2962e-02,\n",
      "         1.3148e-02,  7.3574e-03,  1.0289e-02,  9.7722e-03, -7.6610e-03,\n",
      "        -1.0858e-02, -2.2708e-03,  8.4209e-03,  1.5712e-03,  4.6488e-04,\n",
      "        -4.9266e-03,  3.9139e-03, -1.0927e-02, -3.7453e-03, -5.7043e-03,\n",
      "        -8.9269e-03,  1.5111e-02,  7.0804e-03, -5.7660e-03, -6.2098e-03,\n",
      "         3.7858e-03,  3.8433e-03, -6.7936e-03,  6.8525e-03,  9.8509e-03])\n",
      "\n"
     ]
    }
   ],
   "source": [
    "from torchvision import models\n",
    "alexnet = models.AlexNet()\n",
    "state_dict = alexnet.state_dict()\n",
    "for key, parameter_value in state_dict.items():\n",
    "    print(key)\n",
    "    print(parameter_value, end=\"\\n\\n\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true
   },
   "source": [
    "### load_state_dict"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {
    "hidden": true
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "convolution_layer.weight\n",
      "tensor([[[[ 1.2345e+04, -1.3605e-01, -9.4785e-02],\n",
      "          [ 2.2336e-01,  2.4534e-01, -2.0257e-01],\n",
      "          [-1.0476e-01, -2.3887e-01, -6.0740e-02]]]])\n",
      "\n",
      "convolution_layer.bias\n",
      "tensor([-0.1950])\n",
      "\n",
      "fc.weight\n",
      "tensor([[ 0.0374, -0.1247, -0.0989,  0.1309, -0.1088,  0.0429,  0.1109,  0.1286,\n",
      "          0.0574, -0.0468, -0.0367, -0.0170,  0.0444, -0.1594, -0.0038,  0.1352,\n",
      "         -0.0714, -0.1400,  0.0942, -0.1413, -0.1531, -0.0405,  0.0347, -0.0797,\n",
      "         -0.1182,  0.1191, -0.1489, -0.1434,  0.0179, -0.0541,  0.0506,  0.0643,\n",
      "         -0.0544, -0.1617, -0.0443,  0.0307],\n",
      "        [ 0.1272,  0.0803, -0.1073,  0.1587,  0.1110, -0.1121, -0.1207, -0.0549,\n",
      "          0.0478,  0.1658,  0.0312,  0.0558,  0.1103,  0.0687,  0.0382,  0.0753,\n",
      "         -0.1332,  0.0949, -0.0379,  0.0353, -0.0063, -0.1196, -0.1295,  0.0591,\n",
      "          0.0372,  0.1542,  0.1590,  0.1328, -0.1524,  0.1462, -0.1419,  0.0449,\n",
      "         -0.1299, -0.1022,  0.0896,  0.1011]])\n",
      "\n",
      "fc.bias\n",
      "tensor([0.1021, 0.1301])\n",
      "\n"
     ]
    }
   ],
   "source": [
    "class TinnyCNN(nn.Module):\n",
    "    def __init__(self, cls_num=2):\n",
    "        super(TinnyCNN, self).__init__()\n",
    "        self.convolution_layer = nn.Conv2d(1, 1, kernel_size=(3, 3))\n",
    "        self.fc = nn.Linear(36, cls_num)\n",
    "\n",
    "    def forward(self, x):\n",
    "        x = self.convolution_layer(x)\n",
    "        x = x.view(x.size(0), -1)\n",
    "        out = self.fc(x)\n",
    "        return out\n",
    "\n",
    "model = TinnyCNN(2)\n",
    "\n",
    "state_dict_tinnycnn = model.state_dict()\n",
    "\n",
    "state_dict_tinnycnn[\"convolution_layer.weight\"][0, 0, 0, 0] = 12345. # 假设经过训练，权重参数发现变化\n",
    "\n",
    "model.load_state_dict(state_dict_tinnycnn)  # 再次查看\n",
    "\n",
    "for key, parameter_value in model.state_dict().items():\n",
    "    print(key)\n",
    "    print(parameter_value, end=\"\\n\\n\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### load_state_dict常见报错"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "ename": "RuntimeError",
     "evalue": "Error(s) in loading state_dict for AlexNet:\n\tMissing key(s) in state_dict: \"features.0.weight\", \"features.0.bias\", \"features.3.weight\", \"features.3.bias\", \"features.6.weight\", \"features.6.bias\", \"features.8.weight\", \"features.8.bias\", \"features.10.weight\", \"features.10.bias\", \"classifier.1.weight\", \"classifier.1.bias\", \"classifier.4.weight\", \"classifier.4.bias\", \"classifier.6.weight\", \"classifier.6.bias\". \n\tUnexpected key(s) in state_dict: \"convolution_layer.weight\", \"convolution_layer.bias\", \"fc.weight\", \"fc.bias\". ",
     "output_type": "error",
     "traceback": [
      "\u001b[1;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[1;31mRuntimeError\u001b[0m                              Traceback (most recent call last)",
      "\u001b[1;32m<ipython-input-7-2b8705e621e0>\u001b[0m in \u001b[0;36m<module>\u001b[1;34m\u001b[0m\n\u001b[0;32m      1\u001b[0m \u001b[1;32mfrom\u001b[0m \u001b[0mtorchvision\u001b[0m \u001b[1;32mimport\u001b[0m \u001b[0mmodels\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m      2\u001b[0m \u001b[0malexnet\u001b[0m \u001b[1;33m=\u001b[0m \u001b[0mmodels\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mAlexNet\u001b[0m\u001b[1;33m(\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[1;32m----> 3\u001b[1;33m \u001b[0malexnet\u001b[0m\u001b[1;33m.\u001b[0m\u001b[0mload_state_dict\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mstate_dict_tinnycnn\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0m",
      "\u001b[1;32mD:\\Anaconda_data\\envs\\pytorch_1.10_gpu\\lib\\site-packages\\torch\\nn\\modules\\module.py\u001b[0m in \u001b[0;36mload_state_dict\u001b[1;34m(self, state_dict, strict)\u001b[0m\n\u001b[0;32m   1481\u001b[0m         \u001b[1;32mif\u001b[0m \u001b[0mlen\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0merror_msgs\u001b[0m\u001b[1;33m)\u001b[0m \u001b[1;33m>\u001b[0m \u001b[1;36m0\u001b[0m\u001b[1;33m:\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m   1482\u001b[0m             raise RuntimeError('Error(s) in loading state_dict for {}:\\n\\t{}'.format(\n\u001b[1;32m-> 1483\u001b[1;33m                                self.__class__.__name__, \"\\n\\t\".join(error_msgs)))\n\u001b[0m\u001b[0;32m   1484\u001b[0m         \u001b[1;32mreturn\u001b[0m \u001b[0m_IncompatibleKeys\u001b[0m\u001b[1;33m(\u001b[0m\u001b[0mmissing_keys\u001b[0m\u001b[1;33m,\u001b[0m \u001b[0munexpected_keys\u001b[0m\u001b[1;33m)\u001b[0m\u001b[1;33m\u001b[0m\u001b[1;33m\u001b[0m\u001b[0m\n\u001b[0;32m   1485\u001b[0m \u001b[1;33m\u001b[0m\u001b[0m\n",
      "\u001b[1;31mRuntimeError\u001b[0m: Error(s) in loading state_dict for AlexNet:\n\tMissing key(s) in state_dict: \"features.0.weight\", \"features.0.bias\", \"features.3.weight\", \"features.3.bias\", \"features.6.weight\", \"features.6.bias\", \"features.8.weight\", \"features.8.bias\", \"features.10.weight\", \"features.10.bias\", \"classifier.1.weight\", \"classifier.1.bias\", \"classifier.4.weight\", \"classifier.4.bias\", \"classifier.6.weight\", \"classifier.6.bias\". \n\tUnexpected key(s) in state_dict: \"convolution_layer.weight\", \"convolution_layer.bias\", \"fc.weight\", \"fc.bias\". "
     ]
    }
   ],
   "source": [
    "from torchvision import models\n",
    "alexnet = models.AlexNet()\n",
    "alexnet.load_state_dict(state_dict_tinnycnn)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "可以看到对alexnet这个模型传入TinyCNN的state_dict，会得到两大报错：\n",
    "* 第一种是alexnet需要的，但传进来的字典里没找到：分别是\"features.0.weight\", \"features.0.bias\"等等\n",
    "* 第二种是传进来的不是alexnet想要的，分别是\"convolution_layer.weight\", \"convolution_layer.bias\", \"fc.weight\", \"fc.bias\"."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Module的模块、参数管理"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### paramters、 named_parameters"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "code_folding": [
     1,
     6
    ]
   },
   "outputs": [],
   "source": [
    "class TinnyCNN(nn.Module):\n",
    "    def __init__(self, cls_num=2):\n",
    "        super(TinnyCNN, self).__init__()\n",
    "        self.convolution_layer = nn.Conv2d(1, 1, kernel_size=(3, 3))\n",
    "        self.fc = nn.Linear(36, cls_num)\n",
    "\n",
    "    def forward(self, x):\n",
    "        x = self.convolution_layer(x)\n",
    "        x = x.view(x.size(0), -1)\n",
    "        out = self.fc(x)\n",
    "        return out\n",
    "\n",
    "model = TinnyCNN(2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "for param in model.parameters():\n",
    "    print(type(param), param.size())\n",
    "    print(param, end=\"\\n\\n\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "for name, param in model.named_parameters():\n",
    "    print(name)\n",
    "    print(param, end=\"\\n\\n\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### modules、named_modules"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "for sub_module in model.modules():\n",
    "    print(sub_module, end=\"\\n\\n\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "for name, sub_module in model.named_modules():\n",
    "    print(name)\n",
    "    print(sub_module, end=\"\\n\\n\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### children、named_children"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "for sub_module in model.children():\n",
    "    print(sub_module, end=\"\\n\\n\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "for name, sub_module in model.named_children():\n",
    "    print(name)\n",
    "    print(sub_module, end=\"\\n\\n\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### get_parameter、get_submodule"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "print(model.get_parameter(\"fc.bias\"))\n",
    "\n",
    "print(model.get_submodule(\"convolution_layer\"))\n",
    "\n",
    "print(model.get_submodule(\"convolution_layer\").get_parameter(\"bias\")) # module还可以继续调用get_prameter"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 设置模型的参数精度，可选半精度、单精度、双精度等"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "torch.float32\n",
      "torch.float32\n",
      "torch.float32\n",
      "torch.float32\n"
     ]
    }
   ],
   "source": [
    "model = TinnyCNN(2)\n",
    "for name, param in model.named_parameters():\n",
    "    print(param.dtype)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "model.half()\n",
    "for name, param in model.named_parameters():\n",
    "    print(param.dtype)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "model.float()\n",
    "for name, param in model.named_parameters():\n",
    "    print(param.dtype)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "model.double()\n",
    "for name, param in model.named_parameters():\n",
    "    print(param.dtype)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "model.bfloat16()\n",
    "for name, param in model.named_parameters():\n",
    "    print(param.dtype)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 对子模块执行特定功能"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "apply"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Parameter containing:\n",
      "tensor([[-0.2534,  0.2375],\n",
      "        [-0.4776, -0.2796]], requires_grad=True)\n",
      "\n",
      "Parameter containing:\n",
      "tensor([-0.5713,  0.1877], requires_grad=True)\n",
      "\n",
      "Parameter containing:\n",
      "tensor([[ 0.4486, -0.1789],\n",
      "        [-0.4061, -0.0006]], requires_grad=True)\n",
      "\n",
      "Parameter containing:\n",
      "tensor([-0.6580,  0.6763], requires_grad=True)\n",
      "\n",
      "执行apply之后:\n",
      "0.weight\n",
      "Parameter containing:\n",
      "tensor([[1., 1.],\n",
      "        [1., 1.]], requires_grad=True)\n",
      "\n",
      "0.bias\n",
      "Parameter containing:\n",
      "tensor([-0.5713,  0.1877], requires_grad=True)\n",
      "\n",
      "1.weight\n",
      "Parameter containing:\n",
      "tensor([[1., 1.],\n",
      "        [1., 1.]], requires_grad=True)\n",
      "\n",
      "1.bias\n",
      "Parameter containing:\n",
      "tensor([-0.6580,  0.6763], requires_grad=True)\n",
      "\n"
     ]
    }
   ],
   "source": [
    "@torch.no_grad()\n",
    "def init_weights(m):\n",
    "\n",
    "    if type(m) == nn.Linear:\n",
    "        m.weight.fill_(1.0)\n",
    "        \n",
    "#         print(m.weight)\n",
    "net = nn.Sequential(nn.Linear(2, 2), nn.Linear(2, 2))\n",
    "\n",
    "for param in net.parameters():\n",
    "    print(param, end=\"\\n\\n\")\n",
    "    \n",
    "net.apply(init_weights)\n",
    "\n",
    "print(\"执行apply之后:\")\n",
    "for name, param in net.named_parameters():\n",
    "    print(name)\n",
    "    print(param, end=\"\\n\\n\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "pt_1.11",
   "language": "python",
   "name": "pt_1.11"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.13"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}
